收藏本站
《太原理工大学》 2011年
收藏 | 手机打开
二维码
手机客户端打开本文

基于SVM的文本分类系统中特征选择与权重计算算法的研究

段江丽  
【摘要】:近年来,随着互联网技术的飞快发展,人们已经从信息较为缺乏的时代过渡到信息丰富的数字化时代。面对如此庞大的电子信息,如何在较短的时间内获取对用户有用的信息也就成为当前的一个研究热点。文本分类技术是数据挖掘领域中的一项关键技术,它能够帮助用户快速、准确地定位所需要的信息。同时该技术作为信息过滤和搜索引擎的基础,有着广泛的发展前景,能够为社会带来巨大的经济效益。 文本分类的任务是将待分类的文本对象根据其具体内容自动划分到事先设置的类别内。它的研究内容主要包括文本预处理、特征选择、特征项权重计算、文本表示、分类器的训练与测试以及分类性能评价六个模块。其中特征选择和权重计算在文本分类技术中有着非常关键的作用。 本文的主要研究工作如下: (1)特征选择的目的是从原始的高维特征空间中,选取出对分类贡献程度大的特征来表示文本。经典的特征选择算法在统计特征项和类别之间的关联性信息时,仅仅考虑了特征项对文本分类的能力,却没有考虑特征项之间的相关性信息,因此使得具有同义或近义现象的特征项都被选择出来表示文本,降低了分类的准确度。鉴于此缺点,本文提出了一种新的特征选择算法——组合特征选择算法。该算法首先通过文本证据权重方法选择出一些对文本分类贡献程度大的特征项;其次通过互信息方法删减了一些在文本分类方面有冗余信息的特征项。 (2)经典的TF-IDF权重计算方法只考虑了特征词频率TF和反比文档频率IDF,没有考虑特征项的类别分布和位置分布对分类的影响。因此本文在经典权重算法TF-IDF的基础上,结合特征词的类别分布与位置分布信息,提出了改进的TF-IDF算法。 (3)和其它的机器学习算法相比,SVM方法具备泛化能力强、收敛性好的优点,因此尤其适合于文本分类领域。本文最后构造并实现了一个基于SVM的中文文本分类系统,为研究文本的自动分类与性能评价打下了良好的基础。在分类系统平台基础上,验证了课题提出的组合特征选择算法和改进的权重计算方法在一定程度上提高了文本分类的性能。
【学位授予单位】:

知网文化
【相似文献】
中国期刊全文数据库 前20条
1 李盛瑜;何文;;一种对聊天文本进行特征选取的方法研究[J];计算机科学;2007年05期
2 蒋志方;祝翠玲;吴强;;一个对不带类别标记文本进行分类的方法[J];计算机工程;2007年12期
3 赵钢;;从复杂文本中导入数据的方法[J];中国审计;2007年18期
4 易树鸿;张为群;;一种基于粗集的文本数据特征信息的挖掘方法[J];计算机科学;2002年08期
5 李建中,杨艳,张艳秋;并行文本管理原型系统PDoc的功能与总体框架[J];哈尔滨工业大学学报;2004年09期
6 覃晓;元昌安;彭昱忠;丁超;;基于基因表达式编程的Web文本分类研究[J];网络安全技术与应用;2009年03期
7 谌志群;;文本趋势挖掘综述[J];情报科学;2010年02期
8 王亚民;刘洋;;含附件文本的分类算法研究[J];情报杂志;2012年08期
9 江伟;潘昊;;基于优化的多核学习方法的Web文本分类的研究[J];计算机技术与发展;2013年10期
10 陈福海;C++中用>>和<<重载实现文本文件的方便存取[J];现代计算机;1997年05期
11 孟志青;楼婷渊;胡强;;多粒度时间文本数据的周期模式挖掘算法[J];计算机科学;2013年S2期
12 靳小波;;文本分类综述[J];自动化博览;2006年S1期
13 唐亮;段建国;许洪波;梁玲;;基于信息论的文本分类模型[J];计算机工程与设计;2008年24期
14 施化吉;王贤川;李星毅;;基于规则重构的关联文本分类[J];计算机工程与设计;2009年03期
15 刘伍颖;王挺;;适于垃圾文本流过滤的条件概率集成方法[J];计算机科学与探索;2010年05期
16 张征杰;王自强;;文本分类及算法综述[J];电脑知识与技术;2012年04期
17 彭其华;;关联挖掘下的海量文本信息深入挖掘实现[J];微电子学与计算机;2013年10期
18 汪明霓;BASIC文本系统[J];计算机应用研究;1988年01期
19 王东兴,冷惠文;大量编程用文本数据的统一处理[J];鞍山钢铁学院学报;1997年06期
20 周鹏;数据库中不规范文本文件的数据转换[J];电脑编程技巧与维护;2005年05期
中国重要会议论文全文数据库 前10条
1 许君;王朝坤;刘立超;王建民;刘璋;;云环境中的近似复制文本检测[A];第29届中国数据库学术会议论文集(B辑)(NDBC2012)[C];2012年
2 易天元;叶春生;;工业锅炉图纸输入的文本数据处理[A];1997中国控制与决策学术年会论文集[C];1997年
3 胡蓉;唐常杰;陈敏敏;栾江;;关联规则制导的遗传算法在文本分类中的应用[A];第十九届全国数据库学术会议论文集(研究报告篇)[C];2002年
4 李文波;孙乐;黄瑞红;冯元勇;张大鲲;;基于Labeled-LDA模型的文本分类新算法[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
5 黄云平;孙乐;李文波;;基于上下文图模型文本表示的文本分类研究[A];第四届全国信息检索与内容安全学术会议论文集(上)[C];2008年
6 蒋勇;陈晓静;;一种多方向手写文本行提取方法[A];第二十七届中国控制会议论文集[C];2008年
7 李瑞;王朝坤;郑伟;王建民;王伟平;;基于MapReduce框架的近似复制文本检测[A];NDBC2010第27届中国数据库学术会议论文集(B辑)[C];2010年
8 胡俊;黄厚宽;;一种基于SVM的可视化文本分类的方法[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
9 劳锦明;韦岗;;文本压缩技术研究的新进展[A];开创新世纪的通信技术——第七届全国青年通信学术会议论文集[C];2001年
10 江荻;;藏语文本信息处理的历程与进展[A];中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集[C];2006年
中国重要报纸全文数据库 前1条
1 戴洪玲;向Excel中快速输入相同文本[N];中国电脑教育报;2004年
中国博士学位论文全文数据库 前10条
1 宋歌;基于聚类森林的文本流分类方法研究[D];哈尔滨工业大学;2014年
2 韩开旭;基于支持向量机的文本情感分析研究[D];东北石油大学;2014年
3 郑立洲;短文本信息抽取若干技术研究[D];中国科学技术大学;2016年
4 韩磊;汉语句义结构模型分析及其文本表示方法研究[D];北京理工大学;2016年
5 刘林;面向论坛文本的大学生情绪识别研究[D];华中师范大学;2016年
6 张博宇;基于局部特征的场景文本分析方法研究[D];哈尔滨工业大学;2015年
7 胡明涵;面向领域的文本分类与挖掘关键技术研究[D];东北大学 ;2009年
8 孙晓华;基于聚类的文本机会发现关键问题研究[D];哈尔滨工程大学;2010年
9 尚文倩;文本分类及其相关技术研究[D];北京交通大学;2007年
10 霍跃红;典籍英译译者文体分析与文本的译者识别[D];大连理工大学;2010年
中国硕士学位论文全文数据库 前10条
1 王轶霞;基于半监督递归自编码的情感分类研究[D];内蒙古大学;2015年
2 金传鑫;气象文本分类特征选择方法及其在MapReduce上的实现[D];南京信息工程大学;2015年
3 李少卿;不良文本及其变体信息的检测过滤技术研究[D];复旦大学;2014年
4 董秦涛;基于文本的个人情感状态分析研究[D];兰州大学;2015年
5 钟文波;搜索引擎中关键词分类方法评估及推荐应用[D];华南理工大学;2015年
6 黄晨;基于新词识别和时间跨度的微博热点研究[D];上海交通大学;2015年
7 陈红阳;中文微博话题发现技术研究[D];重庆理工大学;2015年
8 王珺瑶;面向微博文本的分类技术应用研究[D];广西大学;2015年
9 梅荣月;基于集成方法的文本蕴涵识别[D];北京理工大学;2015年
10 木回提;哈萨克语文本分类系统的设计与实现[D];电子科技大学;2014年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978