收藏本站
《武汉理工大学》 2006年
收藏 | 手机打开
二维码
手机客户端打开本文

支持向量机及用于文本分类的研究

牛肖潇  
【摘要】:近年来,随着网络的迅猛发展,如何对网络上大量的自然语言文本按照既定的语义进行正确的归类,已经成为组织大量网络信息的一个关键问题。这就是文本分类的任务。电子文本成几何级数增长,日常生活中海量信息的传播,迫切的要求我们能对这些文章进行自动分类。使用文本自动分类系统可以帮助人们自动检查文本,判断文本的类别。 本文采用最大间隔—支持向量机的关键技术,实现了文本的自动分类。学习算法是通过对已给定类标记的训练文本的学习,自动产生分类规则,该规则在今后预测未知的文本的类别时,有较高的精确性。本文主要工作及创新点在于: 1.基于文本分类的技术的掌握,包括文本的表示方法,特征的选取以及文档分类的评估指标等。我们讨论并实现了文本表示的全过程,包括提取词干,去除高频率和低频率特征词,得到数据字典,然后经过权重计算,生成文本向量空间,即训练样本和测试样本数据。并采用SVM算法,设计出文本分类实验系统。通过在Ruters-21578文档集上的实验,该系统证明了SVM能切实有效的解决文本的自动分类问题。 2.在研究SVM算法的过程中,我们发现算法本身易过学习,并且训练时间很长。为了解决这些缺陷,我们提出了基于减法聚类的SVM算法。减法聚类是根据密度指标,选取聚类中心点,聚类中心点也为训练数据点本身。这样就达到减少训练数据个数的目的。我们用选取的聚类点作为新的训练集合,构建SVM。在两类和多类的标准数据集上的实验表示,该算法较之传统SVM有好的分类准确性和泛化能力,但是用于优化计算的时间却大大减少。
【学位授予单位】:武汉理工大学
【学位级别】:硕士
【学位授予年份】:2006
【分类号】:TP301;TP391.1

【相似文献】
中国期刊全文数据库 前10条
1 龚静;曾莉;;用于文本分类的特征选择方法[J];湖南环境生物职业技术学院学报;2008年03期
2 袁剑锋;张启蕊;;医药信息文本分类系统中特征选择模块的研究[J];电脑知识与技术;2008年30期
3 洪亮;;文本分类中特征选择方法研究及分析[J];科技广场;2009年07期
4 林永民;朱卫东;;模糊kNN在文本分类中的应用研究[J];计算机应用与软件;2008年09期
5 吕震宇;赵爽;林永民;;kNN在文本分类中的应用研究[J];计算机与现代化;2008年11期
6 肖婷;唐雁;;改进的χ~2统计文本特征选择方法[J];计算机工程与应用;2009年14期
7 王博;贾焰;杨树强;周斌;;适用于不确定文本分类的特征选择算法[J];通信学报;2009年08期
8 黄迎春;李晓晔;邓文新;;文本挖掘技术的研究[J];齐齐哈尔大学学报;2006年03期
9 刘健;钱猛;张维明;;基于Fisher线性判别模型的文本特征选择算法[J];国防科技大学学报;2008年05期
10 吕彦红;陈基漓;阮百尧;;基于遗传算法的中文自动分类特征选择[J];山东理工大学学报(自然科学版);2009年01期
中国重要会议论文全文数据库 前10条
1 张永;陈思睿;杨志勇;;一种改进的文本分类方法的研究[A];第二届全国信息检索与内容安全学术会议(NCIRCS-2005)论文集[C];2005年
2 徐燕;孙春明;王斌;李锦涛;;基于词条频率的特征选择算法研究[A];中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集[C];2006年
3 刘功申;李建华;李生红;;基于类信息的特征选择和加权方法[A];NCIRCS2004第一届全国信息检索与内容安全学术会议论文集[C];2004年
4 伍建军;康耀红;;关于文本分类中特征降维方式的研究[A];第三届学生计算语言学研讨会论文集[C];2006年
5 徐燕;王斌;李锦涛;孙春明;;知识增益:文本分类中一种新的特征选择方法[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
6 王秀娟;郭军;郑康锋;;基于互信息可信度的特征选择方法[A];2006通信理论与技术新进展——第十一届全国青年通信学术会议论文集[C];2006年
7 陈庆轩;郑德权;郑博文;赵铁军;李生;;中文文本分类中基于文档频度分布的特征选择方法[A];黑龙江省计算机学会2009年学术交流年会论文集[C];2010年
8 肖婷;唐雁;;文本分类中特征选择方法及应用[A];2008年计算机应用技术交流会论文集[C];2008年
9 陈克利;宗成庆;王霞;;基于大规模真实文本的平衡语料分析与文本分类方法[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
10 杜长海;吉根林;;模糊聚类的最大树法在文本分类中的应用研究[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
中国重要报纸全文数据库 前10条
1 周晓娟;TD已过分水岭[N];通信产业报;2008年
2 天相投顾 闻群王聃聃;选基金需考虑风险承受力[N];中国证券报;2007年
3 孙志伟;刘刚检查城防林建设[N];齐齐哈尔日报;2008年
4 郑卫东;高产鹅选种方法和标准[N];中国畜牧兽医报;2007年
5 中国科学院计算技术研究所 王 斌;内容为王[N];计算机世界;2004年
6 海通证券 娄静吴先兴;把握风险收益特征选择最适合自己的基金[N];上海证券报;2007年
7 高利华;传承陆游风骨 推进国际交流[N];人民日报海外版;2005年
8 张小东;促销之十大常见误区(一)[N];黑龙江经济报;2006年
9 华泰证券 吴璟;权证投资:只买对的,不买便宜的[N];上海证券报;2008年
10 广西钦州灵山县灵城二小 纪雪林;小场地训练途中跑的方法[N];中国体育报;2008年
中国博士学位论文全文数据库 前10条
1 王博;文本分类中特征选择技术的研究[D];国防科学技术大学;2009年
2 冯国忠;文本分类中的贝叶斯特征选择[D];东北师范大学;2011年
3 章舜仲;文本分类中词共现关系的研究及其应用[D];南京理工大学;2010年
4 孟佳娜;迁移学习在文本分类中的应用研究[D];大连理工大学;2011年
5 程军;基于统计的文本分类技术研究[D];中国科学院研究生院(文献情报中心);2003年
6 韦娜;基于内容图像检索关键技术研究[D];西北大学;2006年
7 宋枫溪;自动文本分类若干基本问题研究[D];南京理工大学;2004年
8 张颖;基于群集智能模式识别方法的研究[D];大连理工大学;2008年
9 吕铁军;通信信号调制识别研究[D];电子科技大学;2000年
10 燕忠;基于蚁群优化算法的若干问题的研究[D];东南大学;2005年
中国硕士学位论文全文数据库 前10条
1 董梅;文本内容的信息过滤技术研究[D];合肥工业大学;2006年
2 孟杰;基于构造性覆盖算法的中文文本分类[D];安徽大学;2007年
3 马宏伟;基于SVM的中文文本分类系统的建模与实现[D];大连理工大学;2006年
4 王小燕;文本分类相关技术与应用研究[D];西北大学;2007年
5 杜圣东;基于多类支持向量机的文本分类研究[D];重庆大学;2007年
6 王新丽;中文文本分类系统的研究与实现[D];天津大学;2007年
7 陈超;基于支持向量机的中文文本分类的系统研究[D];武汉理工大学;2007年
8 张俊丽;文本分类中的关键技术研究[D];华中师范大学;2008年
9 王生新;基于支持向量机的文本分类研究[D];哈尔滨工程大学;2008年
10 郭明;基于文本分类技术的文本情感倾向性研究[D];郑州大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026