收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于改进KNN的文本分类算法的设计与实现

杜尔斌  
【摘要】:随着互联网上信息量的爆炸式增长,电子文本信息也随之大量增加。如何有效地管理电子文本信息也成为了当今信息科学技术日益重要的一大课题。而文本自动分类,作为一种有效的提高文本检索速度和准确率的方法,在电子文本信息管理中起着非常重要的作用。 目前比较常用的文本分类技术主要有:向量空间模型(VSM)、K个最近邻法(KNN)、神经网络(NNet)、支持向量机(SVMs)和贝叶斯算法(Bayes)等。而KNN算法是一种简单,但是非常有效的文本分类算法,有着广泛的应用。 论文首先介绍文本分类技术的历史与现状,然后详细介绍了KNN算法作为一种非常简单有效的文本分类算法,在文本分类技术中的广泛运用。传统KNN算法往往运用非监督的权重分配方法对特征项的特征项分配权重,一定程度上影响了距离测度计算的精确性。文章针对传统权重分配算法的不足,采取x 2统计量方法和信息增益这两种监督权重分配方法,有效地利用了训练集标签信息,提高了KNN算法的精确度。随后,论文针对传统KNN算法计算量过大的缺点,引入了生成代表样本集的方法,对原始训练集进行裁剪并予以取代,从而减少了分类系统的计算量,有效地提高了系统的效率。 最后,论文采用了Reuters-21578文档集作为训练集和测试集,分别应用了传统的非监督权重分配方法(布尔权重,TF-IDF),以及改进的监督权重分配方法(x 2统计量方法和信息增益)进行KNN分类算法精确度的比较,验证了监督权重分配方法对于提高文本分类算法精确度的作用。另外,还对基于传统KNN算法的分类器与基于改进的使用代表样本集方法的KNN算法分类器进行比较,证明了代表样本集方法有效地提高了分类器的效率。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 张军华;试论电视新闻的文本结构特征[J];广西师范学院学报(哲学社会科学版);2004年02期
2 薛翠芳,郭炳炎;汉语文本结构的自动分析[J];情报学报;2000年04期
3 李静月;李培峰;朱巧明;;一种改进的TFIDF网页关键词提取方法[J];计算机应用与软件;2011年05期
4 金艳;;手机短信的文本功能及特征分析[J];今传媒;2011年07期
5 魏丽霞;郑家恒;;基于网页文本结构的网页去重[J];计算机应用;2007年11期
6 陈燕敏;楼喜中;;一种基于集聚确定文本意向结构的方法[J];微计算机信息;2010年18期
7 朱荷香;曲维光;卢俊之;李素建;邵艳秋;;面向自动文摘的文本结构划分[J];南京大学学报(自然科学版);2008年02期
8 李丽娟;;敦煌写本临圹文研究[J];首都师范大学学报(社会科学版);2010年S1期
9 刘晓畅;;新闻的话语与话语的新闻——解读《作为话语的新闻》[J];湖北社会科学;2006年01期
10 陈翼;张计龙;宓詠;;一种跨领域的信息资源的描述标准——基于都柏林核心元数据的高校管理信息标准的研究与应用[J];情报学报;2008年03期
11 袁欣;米建荣;张晶;;英语新闻的文本结构和词汇特点[J];新闻爱好者;2009年16期
12 严励;王冠辉;;手机报的编写特点分析——以彩信模式的手机报为例[J];中国出版;2011年20期
13 张利,朱颖,吴国威;版面分割中文本区域最佳结构表示树的生成算法[J];中国图象图形学报;1998年07期
14 吴岩,李秀坤,王开铸;文章意义段划分的数学模型[J];哈尔滨工业大学学报;1998年06期
15 陈立强;张宜迁;;电视频道的话语特征及其文本结构[J];中国电视;2008年01期
16 徐福培,张炜;中文页面描述语言文本管理器的设计与实现[J];软件学报;1994年11期
17 陆汝钤;;自然语言对ALGOL68文本的影响[J];计算机科学;1980年02期
18 朱羽君,崔林;电视新闻调查节目的文本结构[J];现代传播;2004年06期
19 唐晓文;基于本体论的文本特征提取[J];电脑与信息技术;2005年01期
20 王晓平;张亭亭;;阅读文本研究述评[J];宁波大学学报(教育科学版);2008年05期
中国重要会议论文全文数据库 前10条
1 段娅;;论社会学批评的人本主义——评析戈德曼和齐马对社会学批评的发展[A];福建省外国语文学会2008年年会论文集[C];2008年
2 唐云廷;;基于TSBT(Text Structure Binary Tree)的文本结构的自动分析[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
3 坂井洋史;;记忆·历史·文本——与周立民君商榷[A];细读《随想录》[C];2008年
4 王应云;谭见初;;汉语韵文英译方法论[A];中国英汉语比较研究会第七次全国学术研讨会论文集[C];2006年
5 刘玲;周经野;罗慧慧;;基于XML的文本规划方法[A];2005年全国理论计算机科学学术年会论文集[C];2005年
6 王冬梅;;文学性与文学翻译[A];中国英汉语比较研究会第七次全国学术研讨会论文集[C];2006年
7 周小甲;周庆利;;中文病历文本中时间信息自动标注[A];2011年浙江省医学会医学工程学分会第九届学术年会论文汇编[C];2011年
8 杨艳;李巍;玄萍;;数字图书馆中基于Ontology的文本模型[A];黑龙江省计算机学会2009年学术交流年会论文集[C];2010年
9 陈炯;;立法语言的规范与创新[A];修辞学新视野——汉语修辞与汉文化学术研讨会论文集[C];2004年
10 李成城;;基于修辞结构理论的自动文摘研究[A];民族语言文字信息技术研究——第十一届全国民族语言文字信息学术研讨会论文集[C];2007年
中国博士学位论文全文数据库 前10条
1 王丹丹;森佩尔三个文本的形式原则比较研究[D];南京大学;2013年
2 温有奎;基于语义挖掘的文本知识元模型与应用研究[D];武汉大学;2010年
3 刘生良;《庄子》文学研究[D];陕西师范大学;2003年
4 朱朝勇;基于本体的知识库分类研究[D];中国科学技术大学;2013年
5 钱纪芳;和合翻译观照下的服装文字语言翻译[D];上海外国语大学;2008年
6 杨卉;Web文本观点挖掘及隐含情感倾向的研究[D];吉林大学;2011年
7 王媛;《今文尚书》文本结构研究[D];首都师范大学;2008年
8 贾学鸿;《庄子》结构艺术研究[D];华东师范大学;2007年
9 蒋斌;文本载体信息隐藏及相关技术研究[D];解放军信息工程大学;2008年
10 林佩璇;《圣经》典故研究:价值与缺失[D];福建师范大学;2009年
中国硕士学位论文全文数据库 前10条
1 张年东;非连续性文本及其阅读和表达研究[D];西南大学;2014年
2 梁旭;评论文本的对立观点摘要的研究[D];北京交通大学;2013年
3 郑勤勤;面向专业领域的文本矩阵模型[D];华南理工大学;2012年
4 王来涛;网络短文本话题发现与趋势预测研究[D];北京工业大学;2013年
5 张娴;张洁小说语言音乐美试析[D];延边大学;2004年
6 乔宝辉;《德意志意识形态》第一章文本研究[D];黑龙江大学;2009年
7 史良;一种基于特征选择的层次化文本分类算法[D];哈尔滨工程大学;2013年
8 庄明;装备发展战略研究信息化平台中汉语文本信息提取技术的研究[D];国防科学技术大学;2003年
9 刘立胜;从读者接受的角度看文学翻译对等[D];重庆大学;2004年
10 吴朝辉;村落意义构成初探[D];浙江大学;2007年
中国重要报纸全文数据库 前10条
1 湖南省长沙铁路第一中学 黄福清;“多元解读”莫遭到误读[N];中国教育报;2006年
2 张磷;伦敦桥与翻译[N];中华读书报;2003年
3 ;采用国际标准管理办法[N];中国国门时报(中国出入境检验疫报);2002年
4 马洋;随心所欲建论坛[N];中国计算机报;2002年
5 程惠哲;《文学语言学》简评[N];光明日报;2005年
6 天津大学管理学院 张水波;FIDIC合同文本的发展与应用[N];国际商报;2007年
7 张稔穰;文学阅读与阐释的新视野[N];光明日报;2006年
8 刘绍艳;出口企业采用国际标准须关注的几个问题[N];宁波日报;2006年
9 冯光华;推动制度创新 奠定金融衍生产品市场坚实制度基础[N];中国证券报;2007年
10 本报记者 王玮;主旋律图书的模样[N];光明日报;2000年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978