收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

文本分类中基于概念聚合的KNN算法优化问题研究

林啟锋  
【摘要】:随着知识经济时代的到来,信息已成为这个时代的最重要标志之一,对于信息的获取与管理也越来越得到重视。信息的表现形式也从最初的结构化、半结构化逐渐向非结构化过渡。对于非结化信息的组织和处理显得越来越重要,文本分类作为其中的关键技术之一,已广泛用于信息检索,知识挖掘和管理等领域,但对于海量的文本信息,文本分类的效率与精确度严重制约着它在即时领域的应用和推广。 当前较常用的文本分类算法主要是基于统计的,较著名的有贝叶斯(Bayes)、K最邻近法(KNN)、支持向量机(SVM)、神经元网络(Nnet)等。其中,KNN作为一种简单、高效、非参数的方法,取得了较好的分类效果,使其得到较为广泛的应用。但KNN算法的大计算量限制了它在即时领域的应用,因此如何有效地提高KNN算法的分类效率得到了学者们的广泛关注。本文的研究重点是如何在不牺牲分类精度的前提下,提高文本分类的效率。 本文首先提出了概念聚合,在概念聚合的基础上提出文本特征位串和特征多类别矩阵两种方式,从不同的角度来提高文本的分类效率。 本文研究的主要创新部分有: 1、基于语义相关的概念聚合。在文本的特征词中常常会出现一些义同形异的词,传统的相似度计算中,由于无法判别这类词的关系,而忽略它们在文本相似的作用,本文将对这类词进行语义聚合,形成概念。实验结果显示,关于概念的聚合能有效的表达出这类特征词的含义,使得在相似度计算中,能充体现这类词对文本相似度的贡献,提高文本分类的精度,同时也降低了文本向量的维数。 2、通过文本特征位串来减小KNN算法的计算量。针对KNN算法计算量大的问题,提出文本特征位串来快速的筛选出与待分类文本可能相似的文本,即选出与待分类文本存在概念共现的文本,从而缩小进行KNN相似度计算的训练文本集,达到减小KNN计算量的目的。理论分析和实验结果表明,文本特征位串能在不降低分类准确率的情况下,提高KNN算法的分类效率。 3、提出特征多类别矩阵来降低KNN算法的计算量。在KNN算法中,要减小计算量,除了尽快找出与KNN算法相似度不为零的文本外,还可以通过尽快去除那些不可能是待分类文本所属类别,而特征多类别矩阵便能够通过缩小文本可能的归属类别来降低算法的计算量。实验表明,特征多类别矩阵能有效提高KNN算法的分类速度。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 刘慧;杨宏光;;应用于中文文本分类的改进KNN算法[J];今日科苑;2010年08期
2 吕震宇;赵爽;林永民;;kNN在文本分类中的应用研究[J];计算机与现代化;2008年11期
3 唐焕玲,付克明,鲁明羽;文本分类系统SECTCS中若干技术问题的探讨[J];计算机工程与应用;2003年11期
4 杜尔斌;李翔;林祥;;改进的KNN文本分类算法[J];信息安全与通信保密;2011年04期
5 刘海博;郗亚辉;王煜;;用于文本分类的快速KNN算法[J];河北大学学报(自然科学版);2008年03期
6 李鑫;张黎烁;;文本分类方法比较研究[J];光盘技术;2009年05期
7 王斌;朴顺姬;邵华清;;基于粗糙集的KNN的WEB文本分类的研究[J];数字技术与应用;2011年08期
8 崔彩霞;张朝霞;;文本分类方法对比研究[J];太原师范学院学报(自然科学版);2007年04期
9 王煜;白石;王正欧;;用于Web文本分类的快速KNN算法[J];情报学报;2007年01期
10 曾洪波;杨天奇;邱韬奋;;一种基于模糊理论的KNN文本分类算法[J];微计算机应用;2011年02期
11 李荣陆,胡运发;基于密度的kNN文本分类器训练样本裁剪方法[J];计算机研究与发展;2004年04期
12 张春红;谢卫;;基于SVM-KNN算法的特色数据库分类体系初探[J];情报科学;2009年11期
13 王培涌;陈好刚;王树峰;;一种改进的中文文本特征选择方法[J];现代计算机(专业版);2009年12期
14 张俊丽;张帆;;改进KNN算法在垃圾邮件过滤中的应用[J];现代图书情报技术;2007年04期
15 曹勇;吴顺祥;;使用KNN算法的中文Web文本分类技术研究[J];软件导刊;2007年01期
16 张俊丽;赵乃瑄;冯君;;基于统计频率的文本分类特征选择算法研究[J];现代图书情报技术;2008年11期
17 赵俊杰;胡学钢;;基于文本分类的文档相似度计算[J];微型电脑应用;2008年12期
18 李良俊;张斌;杨明;;基于LSA降维的KNN文本分类算法[J];东北师大学报(自然科学版);2007年02期
19 刘辉;应培培;;一种改进的KNN文本分类算法[J];信息安全与技术;2011年07期
20 陈可华;;基于多代表点的文本分类研究[J];郑州大学学报(工学版);2010年06期
中国重要会议论文全文数据库 前10条
1 陈克利;宗成庆;王霞;;基于大规模真实文本的平衡语料分析与文本分类方法[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
2 杜长海;吉根林;;模糊聚类的最大树法在文本分类中的应用研究[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
3 刘秉权;李博;孙林;王宝勋;刘远超;;标签特征和正文特征融合的SVM博客文本分类算法研究[A];第六届全国信息检索学术会议论文集[C];2010年
4 朱慕华;陈文亮;朱靖波;;词聚类在文本分类中的应用[A];第二届全国学生计算语言学研讨会论文集[C];2004年
5 海丽且木·艾沙;维尼拉·木沙江;;Web文本分类及其维、哈、柯多文种信息检索中的应用研究[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
6 商炳章;白清源;;基于特征项权重改进的关联文本分类[A];第二十五届中国数据库学术会议论文集(二)[C];2008年
7 胡俊;黄厚宽;;一种基于SVM的可视化文本分类的方法[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
8 贾会强;刘晓丽;于洪志;;基于词性特征提取的藏文文本分类方法研究[A];CCF NCSC 2011——第二届中国计算机学会服务计算学术会议论文集[C];2011年
9 王小华;陆蓓;张国煊;;文本自动分类的模糊方法[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
10 庞剑锋;程学旗;;反馈方法在文本分类系统中的应用[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
中国博士学位论文全文数据库 前10条
1 章舜仲;文本分类中词共现关系的研究及其应用[D];南京理工大学;2010年
2 郑文斌;基于正则化线性统计模型的文本分类研究[D];浙江大学;2012年
3 刘伍颖;面向垃圾信息过滤的主动多域学习文本分类方法研究[D];国防科学技术大学;2011年
4 廖一星;文本分类及其特征降维研究[D];浙江大学;2012年
5 孟佳娜;迁移学习在文本分类中的应用研究[D];大连理工大学;2011年
6 李智星;用于文本分类的简明语义分析技术研究[D];重庆大学;2011年
7 李自强;大规模文本分类的若干问题研究[D];电子科技大学;2013年
8 王博;文本分类中特征选择技术的研究[D];国防科学技术大学;2009年
9 平源;基于支持向量机的聚类及文本分类研究[D];北京邮电大学;2012年
10 冯国忠;文本分类中的贝叶斯特征选择[D];东北师范大学;2011年
中国硕士学位论文全文数据库 前10条
1 闫晨;KNN文本分类研究[D];燕山大学;2010年
2 赵小华;KNN文本分类中特征词权重算法的研究[D];太原理工大学;2010年
3 张保富;基于粗糙集的中文文本分类算法研究及应用[D];江苏大学;2010年
4 刘亚南;KNN文本分类中基于遗传算法的特征提取技术研究[D];中国石油大学;2011年
5 张彪;文本分类中特征选择算法的分析与研究[D];中国科学技术大学;2010年
6 张玉杰;基于偏斜数据集的中文文本分类问题的改进特征权重算法研究[D];东北师范大学;2010年
7 刘辉;基于KNN算法的中文Web文本分类技术研究[D];辽宁工程技术大学;2010年
8 蒋健;文本分类中特征提取和特征加权方法研究[D];重庆大学;2010年
9 张桂喜;基于语义的领域相关文本分类研究[D];北京工业大学;2011年
10 苏小康;基于维基百科构建语义知识库及其在文本分类领域的应用研究[D];华中师范大学;2010年
中国重要报纸全文数据库 前10条
1 中国科学院计算技术研究所 王 斌;内容为王[N];计算机世界;2004年
2 高利华;传承陆游风骨 推进国际交流[N];人民日报海外版;2005年
3 林木树;反垃圾邮件有待新突破[N];人民邮电;2004年
4 希安;微软试水信息检索[N];经济日报;2004年
5 王培森;从Web挖到竞争情报[N];中国计算机报;2003年
6 应晓敏 窦文华;技术架构[N];计算机世界;2003年
7 蔚蓝;风,穿越细微,覆盖辽阔[N];文艺报;2006年
8 匡钊;批评理论[N];光明日报;2002年
9 晓阳;多元文化视角下的地域文学研究[N];吉林日报;2004年
10 古耜;在生命的河床里披沙拣金[N];文学报;2004年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978