收藏本站
《上海交通大学》 2009年
收藏 | 手机打开
二维码
手机客户端打开本文

互联网短文本信息分类关键技术研究

柴春梅  
【摘要】: 本文对互联网短文本信息分类的关键技术做了较深入的讨论。结合基于改进KNN算法的文本分类方法,对传统的文本分类进行改进,有效地提高了互联网短文本信息分类的准确率和普适性。 本文首先讨论了短文本信息的特点,与普通文本相比,短文本有其鲜明的特点。现有的短文本包括网络论坛、博客上频繁出现的信息,即主要是BBS/Blog上内容精悍的主贴、回复等。鉴于此,本文主要研究目前网络论坛、博客上频繁出现的短文本。现有的诸多方法在短文本分类中的效果不理想,即还不能有效地对短文本进行分类,因此研究针对短文本的分类算法有着一定的理论指导意义。鉴于此,本文提出了一种基于改进KNN算法实现网络媒体信息智能分类的分类技术应用于互联网短文本、离散文本,即主要应用于BBS/Blog上内容精悍的主贴、回复等。 接着,本文还讨论了文本分类问题的研究,回顾了文本分类领域的已有成果,列举了文本分类领域中的几个重要知识,包括文本分词,文本表示,特征选择,以及分类方法。指出了随着技术的发展,文本分类的重要性。 在回顾文本分类领域已有成果的基础上,本文针对其中的分类方法做了详细说明。现在的诸多方法在互联网短文本分类中的效果不理想,鉴于此本文通过认真分析短文本的特点,认为在基于改进KNN算法的分类方法中可以适当地借鉴基于语义的分类方法中的权重设置方法。通过本文的测试验证,本文提出的综合的方法,可以有效地对短文本进行分类,进而搭建智能分类系统。 相信随着基于自然语言理解领域传统文本分类算法实现互联网短文本信息智能分类的不断发展,将对于互联网信息监管、舆论引导工作起到广泛而深远的意义。
【学位授予单位】:

知网文化
【相似文献】
中国期刊全文数据库 前20条
1 许幸;张启蕊;;基于KNN算法的医药信息文本分类系统的研究[J];计算机技术与发展;2009年04期
2 王鹏;樊兴华;;中文文本分类中利用依存关系的实验研究[J];计算机工程与应用;2010年03期
3 谭冠群;丁华福;;改进的K最近特征线算法在文本分类中的应用[J];哈尔滨理工大学学报;2008年06期
4 熊小梅;刘永浪;;基于LSA的二次降维法在中文法律案情文本分类中的应用[J];电子测量技术;2007年10期
5 胡荣,罗庆云;kNN算法在文本分类中的改进[J];南华大学学报(自然科学版);2005年03期
6 刘金岭;王朝;谢少峰;;基于聚类中心初始化的文本分类高效算法[J];软件导刊;2010年04期
7 王煜;白石;王正欧;;基于特征权重优化的改进KNN Web文本分类算法[J];情报学报;2007年05期
8 宋东风;张志浩;;短文本数据的自动分类[J];微型电脑应用;2007年02期
9 牛强;王志晓;陈岱;夏士雄;;基于KNN的Web文本分类方法的研究[J];计算机应用与软件;2007年10期
10 黄炜;;KNN在企业信息检索中的运用[J];信息技术;2011年06期
11 刘海峰;汪泽焱;姚泽清;刘守生;;文本分类中一种基于密度的KNN改进方法[J];情报学报;2009年06期
12 陶兰,申军霞;文本信息自动分类系统ITC98(Ⅰ)──ITC98总体结构与编码子系统[J];中国农业大学学报;1999年04期
13 宋东风;张志浩;;短文本数据的自动分类[J];电脑与信息技术;2007年01期
14 汪成亮;张硕果;;通过确定邻近区域改进KNN文本分类[J];计算机系统应用;2009年11期
15 李文;王炜立;洪胜华;;基于互信息的特征提取方法在中文法律案情文本分类中的改进及应用[J];科技广场;2006年11期
16 张运良;朱礼军;乔晓东;张全;;基于句类特征的作者写作风格分类研究[J];计算机工程与应用;2009年22期
17 吴波;;网络环境下文本自动分类方法研究综述[J];鸡西大学学报;2009年05期
18 张燕;寒枫;楚红涛;;文本挖掘简述[J];中国电力教育;2006年S3期
19 张业鹏;张道德;;贝叶斯算法在文本自动分类系统中的应用[J];计算机与现代化;2006年02期
20 周瑛;刘政怡;;覆盖算法在文本分类中的应用[J];情报理论与实践;2006年01期
中国重要会议论文全文数据库 前10条
1 陈克利;宗成庆;王霞;;基于大规模真实文本的平衡语料分析与文本分类方法[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
2 杜长海;吉根林;;模糊聚类的最大树法在文本分类中的应用研究[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
3 刘秉权;李博;孙林;王宝勋;刘远超;;标签特征和正文特征融合的SVM博客文本分类算法研究[A];第六届全国信息检索学术会议论文集[C];2010年
4 贾会强;刘晓丽;于洪志;;基于词性特征提取的藏文文本分类方法研究[A];CCF NCSC 2011——第二届中国计算机学会服务计算学术会议论文集[C];2011年
5 海丽且木·艾沙;维尼拉·木沙江;;Web文本分类及其维、哈、柯多文种信息检索中的应用研究[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
6 商炳章;白清源;;基于特征项权重改进的关联文本分类[A];第二十五届中国数据库学术会议论文集(二)[C];2008年
7 胡俊;黄厚宽;;一种基于SVM的可视化文本分类的方法[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
8 朱慕华;陈文亮;朱靖波;;词聚类在文本分类中的应用[A];第二届全国学生计算语言学研讨会论文集[C];2004年
9 苏小康;何婷婷;涂新辉;何金卓;;一种基于维基百科知识库的中文文本分类方法研究[A];中国计算机语言学研究前沿进展(2007-2009)[C];2009年
10 王小华;陆蓓;张国煊;;文本自动分类的模糊方法[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
中国重要报纸全文数据库 前10条
1 本报记者  周松林;上证所XBRL基金信息分类获国际认证[N];中国证券报;2006年
2 证券时报记者  黄婷;上证所基金信息分类获国际认证[N];证券时报;2006年
3 黄鑫 李晶;信息分类网让信息互动起来[N];经济日报;2006年
4 实习生 林莉君;“网格信息分类目录”解决电子政务建设瓶颈[N];科技日报;2004年
5 记者  胡春玲 程媛;用工信息分类“上架”郑州人力资源“超市”开张了[N];中国劳动保障报;2006年
6 闫洁;咱的信息:运营商保留那么久干啥?[N];新华每日电讯;2008年
7 蒋秀娟;常发短信会使人变笨吗?[N];科技日报;2007年
8 童岱;手机短信稳私安全吗[N];北京科技报;2008年
9 本报记者 黄鑫;优化招聘职位信息分类 提供便捷有效求职平台[N];经济日报;2009年
10 刘一冰;RSA关注信息分类与监控[N];电脑商报;2008年
中国博士学位论文全文数据库 前10条
1 章舜仲;文本分类中词共现关系的研究及其应用[D];南京理工大学;2010年
2 孟佳娜;迁移学习在文本分类中的应用研究[D];大连理工大学;2011年
3 李智星;用于文本分类的简明语义分析技术研究[D];重庆大学;2011年
4 刘伍颖;面向垃圾信息过滤的主动多域学习文本分类方法研究[D];国防科学技术大学;2011年
5 王煜;基于决策树和K最近邻算法的文本分类研究[D];天津大学;2006年
6 王博;文本分类中特征选择技术的研究[D];国防科学技术大学;2009年
7 郝立柱;汉语文本自动分类[D];吉林大学;2008年
8 冯国忠;文本分类中的贝叶斯特征选择[D];东北师范大学;2011年
9 平源;基于支持向量机的聚类及文本分类研究[D];北京邮电大学;2012年
10 程军;基于统计的文本分类技术研究[D];中国科学院研究生院(文献情报中心);2003年
中国硕士学位论文全文数据库 前10条
1 柴春梅;互联网短文本信息分类关键技术研究[D];上海交通大学;2009年
2 宋光鹏;文本的情感倾向分析研究[D];北京邮电大学;2008年
3 李文;公安执法监督管理中的文本理解技术的研究及其应用[D];南昌大学;2005年
4 苏小康;基于维基百科构建语义知识库及其在文本分类领域的应用研究[D];华中师范大学;2010年
5 何尧;基于半监督学习的中文文档分类技术研究[D];中南大学;2005年
6 张玉杰;基于偏斜数据集的中文文本分类问题的改进特征权重算法研究[D];东北师范大学;2010年
7 张彪;文本分类中特征选择算法的分析与研究[D];中国科学技术大学;2010年
8 陈骏;基于语义网的文本信息分类技术研究[D];南京理工大学;2006年
9 张保富;基于粗糙集的中文文本分类算法研究及应用[D];江苏大学;2010年
10 蒋健;文本分类中特征提取和特征加权方法研究[D];重庆大学;2010年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978