收藏本站
《武汉理工大学》 2006年
收藏 | 手机打开
二维码
手机客户端打开本文

基于支持向量机的中文文本分类系统研究

马忠宝  
【摘要】:在信息技术日新月异的今天,多数人在日常工作学习中都会接触到大量的中文信息,尤其是在互联网上,存在的中文网页更是数以万计。如何利用计算机技术快速有效的获取相关信息已经成为目前中文信息处理领域一个研究热点。中文文本分类是中文信息处理的重要组成部分,对中文信息数字化的实现和推广有重要意义,在文本识别、电子政务、搜索引擎、信息过滤等领域有着广泛和深入的应用。 支持向量机是一种建立在统计学习理论基础之上的模式识别方法,由Boser、Guyon、Vapnik等人在COLT(Computational Learning Theory)-92上首次提出,在文本分类、图像识别、生物信息处理等领域都取得了成功的应用。相比较传统的分类方法,支持向量机在求解小样本、非线性、高维空间等问题上表现出了较好的性能。支持向量机根据结构风险最小化原则,具有全局最优解,同时提高了分类器的泛化能力。利用支持向量机得到的分类器具有很好的推广能力,即使训练样本很少,分类系统也可以达到很高的准确率。 本文首先对中文文本分词进行了介绍,在常用分词算法的基础之上设计了一种双向匹配分词算法,有效的减少了歧义词对正确分词的影响。特征选择是文本分类的重要环节,本文对分类问题中的若干传统特征选择评估算法进行了分析,对其中的互信息和X~2等评估算法提出了改进策略。分类器设计是文本分类系统的核心部分,本文讨论了目前主流的分类器设计方法,重点对支持向量机方法进行了研究,详细阐述了线性可分、线性不可分、非线性等支持向量机方法的原理,比较了采用不同核函数的支持向量机分类器的分类效果。通过对一般分类器训练学习过程的分析,本文探讨了训练集选取对分类效果的影响,提出了动态训练集的文本分类算法,加强了训练集对分类器训练学习过程中所起的作用。 最后,结合文本分类过程和支持向量机方法,设计并实现了一个基于支持向量机的中文文本分类系统。该系统分类效果的评价采用分类问题研究领域普遍采用的查准率、查全率和F测度值等指标。实验结果表明,该系统的这些评判指标总体上的平均值都很高,具有较好的分类效果。
【学位授予单位】:武汉理工大学
【学位级别】:硕士
【学位授予年份】:2006
【分类号】:TP391.1

【相似文献】
中国期刊全文数据库 前10条
1 周拴龙;;Lucene.net中文分词算法分析[J];郑州大学学报(理学版);2011年03期
2 高金勇;徐朝军;冯奕竸;;基于迭代的TFIDF在短文本分类中的应用[J];情报理论与实践;2011年06期
3 张文慧;张冉;;基于中文分词的农业信息检索平台设计[J];安徽农业科学;2011年20期
4 杜娟;;Nutch中文分词的研究和改进[J];软件导刊;2011年06期
5 张旭;;构建基于本地服务的垂直搜索引擎[J];才智;2011年18期
6 唐云;罗俊松;;基于粗糙集和BP神经网络的文本分类研究[J];计算机仿真;2011年06期
7 胥桂仙;向春丞;翁彧;赵小兵;杨国胜;;基于栏目的藏文网页文本自动分类方法[J];中文信息学报;2011年04期
8 张国梁;肖超锋;;基于SVM新闻文本分类的研究[J];电子技术;2011年08期
9 刘新生;厉锟;;基于BP神经网络的旅游突发事件文本分类系统的设计与实现[J];计算机与现代化;2011年07期
10 王斌;朴顺姬;邵华清;;基于粗糙集的KNN的WEB文本分类的研究[J];数字技术与应用;2011年08期
中国重要会议论文全文数据库 前10条
1 陈克利;宗成庆;王霞;;基于大规模真实文本的平衡语料分析与文本分类方法[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
2 杜长海;吉根林;;模糊聚类的最大树法在文本分类中的应用研究[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
3 刘秉权;李博;孙林;王宝勋;刘远超;;标签特征和正文特征融合的SVM博客文本分类算法研究[A];第六届全国信息检索学术会议论文集[C];2010年
4 海丽且木·艾沙;维尼拉·木沙江;;Web文本分类及其维、哈、柯多文种信息检索中的应用研究[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
5 商炳章;白清源;;基于特征项权重改进的关联文本分类[A];第二十五届中国数据库学术会议论文集(二)[C];2008年
6 胡俊;黄厚宽;;一种基于SVM的可视化文本分类的方法[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
7 朱慕华;陈文亮;朱靖波;;词聚类在文本分类中的应用[A];第二届全国学生计算语言学研讨会论文集[C];2004年
8 王小华;陆蓓;张国煊;;文本自动分类的模糊方法[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
9 庞剑锋;程学旗;;反馈方法在文本分类系统中的应用[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
10 贾会强;刘晓丽;于洪志;;基于词性特征提取的藏文文本分类方法研究[A];CCF NCSC 2011——第二届中国计算机学会服务计算学术会议论文集[C];2011年
中国重要报纸全文数据库 前10条
1 中国科学院计算技术研究所 王 斌;内容为王[N];计算机世界;2004年
2 本报记者 张彤;让计算机说中国话[N];网络世界;2004年
3 清华大学IT可用性实验室;2005中文搜索引擎质量对比[N];计算机世界;2005年
4 记者 吴苡婷;用技术挖出网络信息中“金子”[N];上海科技报;2009年
5 贺俊;汇聚亿万草根智慧 奇虎发布经验搜索[N];证券日报;2006年
6 记者 杨朝晖;医药搜索:不再“众里寻他千百度”[N];科技日报;2007年
7 张韬;谷歌推出“谷歌拼音”力拼百度[N];上海证券报;2007年
8 王翌;互联网2005:个性化生存[N];计算机世界;2005年
9 李永胜;在中文网页搜索质量上 Google险胜百度[N];中国计算机报;2007年
10 记者 李霆钧;国内首个“影视剧植入广告分析系统”出炉[N];中国电影报;2010年
中国博士学位论文全文数据库 前10条
1 章舜仲;文本分类中词共现关系的研究及其应用[D];南京理工大学;2010年
2 杨传耀;中文信息检索索引模型及相关技术研究[D];复旦大学;2007年
3 孟佳娜;迁移学习在文本分类中的应用研究[D];大连理工大学;2011年
4 李智星;用于文本分类的简明语义分析技术研究[D];重庆大学;2011年
5 刘伍颖;面向垃圾信息过滤的主动多域学习文本分类方法研究[D];国防科学技术大学;2011年
6 王博;文本分类中特征选择技术的研究[D];国防科学技术大学;2009年
7 孙道军;文本挖掘预处理相关基础技术分析与应用研究[D];北京邮电大学;2008年
8 冯国忠;文本分类中的贝叶斯特征选择[D];东北师范大学;2011年
9 平源;基于支持向量机的聚类及文本分类研究[D];北京邮电大学;2012年
10 程军;基于统计的文本分类技术研究[D];中国科学院研究生院(文献情报中心);2003年
中国硕士学位论文全文数据库 前10条
1 马忠宝;基于支持向量机的中文文本分类系统研究[D];武汉理工大学;2006年
2 褚金正;面向特定领域的文本识别和分类[D];湖南大学;2005年
3 朱军;中文垃圾邮件过滤技术研究及应用[D];合肥工业大学;2005年
4 张春红;文本分类在学科导航中的应用研究[D];成都理工大学;2007年
5 王新丽;中文文本分类系统的研究与实现[D];天津大学;2007年
6 张彪;文本分类中特征选择算法的分析与研究[D];中国科学技术大学;2010年
7 邹丹;基于Web的中文文本分类的研究与实现[D];中国地质大学(北京);2006年
8 张保富;基于粗糙集的中文文本分类算法研究及应用[D];江苏大学;2010年
9 蒋健;文本分类中特征提取和特征加权方法研究[D];重庆大学;2010年
10 闫晨;KNN文本分类研究[D];燕山大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026