收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

文本分类及其相关技术研究

尚文倩  
【摘要】: 随着网络的发展,大量的文档数据涌现在网上,用于处理海量数据的自动文本分类技术变得越来越重要,己逐渐成为处理和组织大量文档数据的关键技术。而对于采用矢量空间模型的大多数文本分类器来说,文本预处理一直是分类的瓶颈,文本预处理结果的好坏直接影响着分类器的分类性能。因此本文在对文本分类算法进行研究的同时,也深入研究了文本预处理的有关算法,有效地提高了分类器的分类性能。 本文的研究工作主要包括:(1)对文本预处理算法的改进 提出了一种新的文本特征选择算法。对于分类前的文本预处理工作来说,首先要进行文本的特征选择,选出最能代表文档特征的单词作为特征空间中的维,以期达到降低特征空间的维数、提高分类器分类性能的目的。本文在分析研究现有文本预处理算法优、缺点的基础上,对基尼指数方法进行改进,并将其用于文本的特征选择,有效地提高了分类器的分类性能。 提出了一种新的特征加权算法。对于基于矢量空间模型的文本预处理来说,在进行特征选择以后,还要进行特征的加权处理,以突出重要单词对分类的影响,抑制次要单词和噪音数据。最有代表性的特征加权算法就是传统的TF—IDF方法,本文在分析研究该方法优、缺点的基础上,采用改进的基尼指数方法对其进行改进,达到了提高分类器的分类性能的目的。(2)对kNN文本分类器的改进 改进了kNN文本分类器的分类决策规则。近年来,出现了众多的文本分类算法,算法的分类性能各有千秋,其中kNN分类算法被众多的研究者证明是分类性能比较好的方法之一。本文采用模糊分类的思想,通过引入隶属度函数,构建了新的分类决策公式,使kNN的分类性能得到了有效提高,在一定程度上解决了当类分布不均匀时kNN分类器的分类性能下降的问题。 在模糊kNN分类器的基础之上,采用改进的基尼指数算法进行特征加权,进一步提高了模糊kNN分类器的分类性能。(3)对朴素贝叶斯文本分类器的改进 朴素贝叶斯分类器是分类性能较好的文本分类算法之一,本文采用改进的基尼指数算法对朴素贝叶斯的分类决策规则进行改进,设计了新的分类决策公式,有效地提高了朴素贝叶斯文本分类器的分类性能。(4)提出了一种新的文本分类模型 在众多的文本分类算法中,SVM、kNN、朴素贝叶斯分类器经众多的研究者证明是分类性能较好的三种文本分类方法。本文在研究这些算法优、缺点的基础上,提出了基于改进基尼指数的文本分类算法,该算法吸收了上述三种算法的优点,克服了它们的一些缺点,使分类性能得到了有效提高。本文从理论上给出了这种方法可行性的依据,用实验结果验证了这种方法的有效性,是一种非常有前途的文本分类方法。 以上算法的可行性和有效性通过实验都得到了很好的验证。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 林永民;吕震宇;赵爽;朱卫东;;向量空间模型中特征加权的研究[J];情报杂志;2008年03期
2 吕震宇;林永民;赵爽;朱卫东;;基于同义词词林的文本特征选择与加权研究[J];情报杂志;2008年05期
3 刘海峰;刘守生;汪泽焱;;一种基于类别信息的改进文本特征选择[J];计算机应用与软件;2010年06期
4 刘海峰;赵华;刘守生;;一种基于类别的组合型文本特征选择[J];情报学报;2010年04期
5 林永民;朱卫东;;基尼指数在文本特征选择中的应用研究[J];计算机应用;2007年10期
6 尚文倩;黄厚宽;刘玉玲;林永民;瞿有利;董红斌;;文本分类中基于基尼指数的特征选择算法研究[J];计算机研究与发展;2006年10期
7 王卫玲;孔波;初建崇;杨玫;;一种新的用于文本分类的特征选择算法[J];信息技术与信息化;2009年06期
8 龚静;曾莉;;用于文本分类的特征选择方法[J];湖南环境生物职业技术学院学报;2008年03期
9 袁剑锋;张启蕊;;医药信息文本分类系统中特征选择模块的研究[J];电脑知识与技术;2008年30期
10 赵中英;梁永全;纪淑娟;李超;;文本分类中改进的特征加权方法[J];情报杂志;2009年04期
11 洪亮;;文本分类中特征选择方法研究及分析[J];科技广场;2009年07期
12 黄迎春;李晓晔;邓文新;;文本挖掘技术的研究[J];齐齐哈尔大学学报;2006年03期
13 林永民;朱卫东;;模糊kNN在文本分类中的应用研究[J];计算机应用与软件;2008年09期
14 刘健;钱猛;张维明;;基于Fisher线性判别模型的文本特征选择算法[J];国防科技大学学报;2008年05期
15 吕震宇;赵爽;林永民;;kNN在文本分类中的应用研究[J];计算机与现代化;2008年11期
16 吕彦红;陈基漓;阮百尧;;基于遗传算法的中文自动分类特征选择[J];山东理工大学学报(自然科学版);2009年01期
17 肖婷;唐雁;;改进的χ~2统计文本特征选择方法[J];计算机工程与应用;2009年14期
18 王博;贾焰;杨树强;周斌;;适用于不确定文本分类的特征选择算法[J];通信学报;2009年08期
19 伍建军;康耀红;;基于改进的互信息特征选择的文本分类[J];计算机应用;2006年S2期
20 王晓微;;两种分类方法特征选择的比较[J];电子技术;2007年Z3期
中国重要会议论文全文数据库 前10条
1 刘功申;李建华;李生红;;基于类信息的特征选择和加权方法[A];NCIRCS2004第一届全国信息检索与内容安全学术会议论文集[C];2004年
2 张永;陈思睿;杨志勇;;一种改进的文本分类方法的研究[A];第二届全国信息检索与内容安全学术会议(NCIRCS-2005)论文集[C];2005年
3 徐燕;孙春明;王斌;李锦涛;;基于词条频率的特征选择算法研究[A];中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集[C];2006年
4 伍建军;康耀红;;关于文本分类中特征降维方式的研究[A];第三届学生计算语言学研讨会论文集[C];2006年
5 徐燕;王斌;李锦涛;孙春明;;知识增益:文本分类中一种新的特征选择方法[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
6 陈庆轩;郑德权;郑博文;赵铁军;李生;;中文文本分类中基于文档频度分布的特征选择方法[A];黑龙江省计算机学会2009年学术交流年会论文集[C];2010年
7 王秀娟;郭军;郑康锋;;基于互信息可信度的特征选择方法[A];2006通信理论与技术新进展——第十一届全国青年通信学术会议论文集[C];2006年
8 肖婷;唐雁;;文本分类中特征选择方法及应用[A];2008年计算机应用技术交流会论文集[C];2008年
9 陈克利;宗成庆;王霞;;基于大规模真实文本的平衡语料分析与文本分类方法[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
10 杜长海;吉根林;;模糊聚类的最大树法在文本分类中的应用研究[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
中国博士学位论文全文数据库 前10条
1 尚文倩;文本分类及其相关技术研究[D];北京交通大学;2007年
2 王博;文本分类中特征选择技术的研究[D];国防科学技术大学;2009年
3 刘赫;文本分类中若干问题研究[D];吉林大学;2009年
4 冯国忠;文本分类中的贝叶斯特征选择[D];东北师范大学;2011年
5 章舜仲;文本分类中词共现关系的研究及其应用[D];南京理工大学;2010年
6 孟佳娜;迁移学习在文本分类中的应用研究[D];大连理工大学;2011年
7 程军;基于统计的文本分类技术研究[D];中国科学院研究生院(文献情报中心);2003年
8 郝立柱;汉语文本自动分类[D];吉林大学;2008年
9 韦娜;基于内容图像检索关键技术研究[D];西北大学;2006年
10 宋枫溪;自动文本分类若干基本问题研究[D];南京理工大学;2004年
中国硕士学位论文全文数据库 前10条
1 董梅;文本内容的信息过滤技术研究[D];合肥工业大学;2006年
2 马宏伟;基于SVM的中文文本分类系统的建模与实现[D];大连理工大学;2006年
3 王小燕;文本分类相关技术与应用研究[D];西北大学;2007年
4 杜圣东;基于多类支持向量机的文本分类研究[D];重庆大学;2007年
5 孟杰;基于构造性覆盖算法的中文文本分类[D];安徽大学;2007年
6 王新丽;中文文本分类系统的研究与实现[D];天津大学;2007年
7 陈超;基于支持向量机的中文文本分类的系统研究[D];武汉理工大学;2007年
8 张俊丽;文本分类中的关键技术研究[D];华中师范大学;2008年
9 王生新;基于支持向量机的文本分类研究[D];哈尔滨工程大学;2008年
10 蒋健;文本分类中特征提取和特征加权方法研究[D];重庆大学;2010年
中国重要报纸全文数据库 前10条
1 周晓娟;TD已过分水岭[N];通信产业报;2008年
2 陆晓枫;我国离现代化还有多远[N];中华合作时报;2004年
3 天相投顾 闻群王聃聃;选基金需考虑风险承受力[N];中国证券报;2007年
4 侯宁 知名社会学者;“幸福指数”和上证指数的距离有多远?[N];广州日报;2006年
5 吕壮;马路摊点该疏该堵?[N];中华工商时报;2007年
6 孙志伟;刘刚检查城防林建设[N];齐齐哈尔日报;2008年
7 吴南雁;拉美的教训:基尼系数的警示[N];中国财经报;2006年
8 郑卫东;高产鹅选种方法和标准[N];中国畜牧兽医报;2007年
9 中国科学院计算技术研究所 王 斌;内容为王[N];计算机世界;2004年
10 刘柯;全民富裕很重要[N];民营经济报;2011年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978