收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于SA-SVM的中文文本分类研究

郭超磊  
【摘要】:信息技术的飞速发展使互联网的数据和资源逐步呈现海量化,但是海量化的信息杂乱无章,常常导致人们无从下手。为了有效地管理和利用这些庞大的信息,信息智能检索、信息过滤和数据挖掘等应运而生,其中,文本分类是它们最重要的支撑,它利用计算机相关技术将具有相同特征的文本根据其内容自动划分到预先设定好的文本类别体系中。文本分类能为信息管理和利用带来便利,具有很广阔的应用前景。分类算法是文本分类的核心,众多学者在研究中文文本分类的过程中,为我们提供了许多优秀的分类算法,传统的机器学习分类算法有贝叶斯算法、KNN算法、逻辑回归算法、决策树算法以及支持向量机算法(support vector machine,SVM)等。大量的实验研究表明,在中文文本分类上,SVM具有很强的学习能力和泛化能力。通过对SVM算法原理分析以及实验例证,可以得出基于SVM的文本分类性能与其惩罚因子?和核函数参数?等紧密相关,惩罚因子?和核函数参数?的参数选择直接影响着文本分类的精度。针对传统的优化SVM参数方法的不足,通过理论分析和实验验证,发现模拟退火(simulated annealing)算法在三维空间中具有较强的全局搜索能力。本文提出了一种利用SA优化SVM参数的方法,并利用几组标准的UCI数据集与几种优化算法的性能进行比较,证明SA-SVM模型在搜索SVM最优参数时利用其随机扰动的概率突跳特性能跳出局部最优,找到全局最优的参数,使模型具备很好的分类性能。为了体现SA-SVM的分类模型在实际应用的价值,将本文提出的SA-SVM分类模型应用于中文文本分类的实践中,并利用复旦大学中文文本语料库和搜狗中文文本语料库作为实验数据集,与几种常用的分类算法进行实验对比,验证SA-SVM分类模型的在中文文本分类中应用的分类性能。实验结果表明,本文提出的SA-SVM分类模型,相比其它中文文本分类算法,具有较强的泛化能力,取得了良好的分类效果,展现了较为显著的分类性能。


知网文化
【相似文献】
中国期刊全文数据库 前19条
1 庄新妍;;中文文本分类系统构架设计[J];信息与电脑(理论版);2012年01期
2 周雪芹;刘建舟;邵雄凯;廖力;;中文文本分类中特征提取的方法[J];湖北工业大学学报;2010年02期
3 刘怀亮;张治国;赵捧未;;中文文本分类反馈学习研究[J];情报理论与实践;2009年06期
4 王俊英;郭景峰;霍峥;;中文文本分类系统的设计与实现[J];微电子学与计算机;2006年S1期
5 马忠宝;刘冠蓉;;基于支持向量机的中文文本分类模型研究[J];计算机技术与发展;2006年11期
6 孙国菊,张杰;中文文本分类的特征选取评价[J];哈尔滨理工大学学报;2005年01期
7 孙士保;李保元;李天瑞;吴正江;郑瑞娟;;基于类内关键词的中文文本分类模型的改进[J];广西师范大学学报(自然科学版);2009年03期
8 白若鹞;董渊;张素琴;徐大伟;;研究中文文本分类技术的辅助平台[J];清华大学学报(自然科学版);2008年07期
9 杜长海;吉根林;;模糊聚类在中文文本分类中的应用研究[J];计算机工程与应用;2006年08期
10 马忠宝;刘冠蓉;;中文文本分类在信息技术中的应用研究[J];中国水运(学术版);2006年02期
11 李荣陆,王建会,陈晓云,陶晓鹏,胡运发;使用最大熵模型进行中文文本分类[J];计算机研究与发展;2005年01期
12 翟林,刘亚军;支持向量机的中文文本分类研究[J];计算机与数字工程;2005年03期
13 白若鹞;董渊;张素琴;徐大伟;;研究中文文本分类技术的辅助平台[J];清华大学学报(自然科学版)网络.预览;2008年07期
14 兰秋军;李卫康;刘文星;;不同情境下中文文本分类模型的表现及选择[J];湖南大学学报(自然科学版);2016年04期
15 范少萍;李迎迎;郑春厚;;基于局部线性判别嵌入算法的中文文本分类研究[J];情报理论与实践;2014年02期
16 王进;金理雄;孙开伟;;基于演化超网络的中文文本分类方法[J];江苏大学学报(自然科学版);2013年02期
17 郝晓燕;常晓明;;中文文本分类研究[J];太原理工大学学报;2006年06期
18 程东生;范广璐;俞雯静;伍飞;曾伟波;;基于极限学习机的中文文本分类方法[J];重庆理工大学学报(自然科学);2018年08期
19 张成宝;王志玲;;基于层次分析法的中文文本分类系统评价[J];情报杂志;2007年10期
中国重要会议论文全文数据库 前5条
1 苏小康;何婷婷;涂新辉;何金卓;;一种基于维基百科知识库的中文文本分类方法研究[A];中国计算机语言学研究前沿进展(2007-2009)[C];2009年
2 王俊英;郭景峰;霍峥;;中文文本分类系统的设计与实现[A];2006年全国开放式分布与并行计算机学术会议论文集(三)[C];2006年
3 陈伟萍;王琳;封化民;杨鼎才;方勇;;一种基于语义概念的中文文本分类方法[A];第一届建立和谐人机环境联合学术会议(HHME2005)论文集[C];2005年
4 陈庆轩;郑德权;郑博文;赵铁军;李生;;中文文本分类中基于文档频度分布的特征选择方法[A];黑龙江省计算机学会2009年学术交流年会论文集[C];2010年
5 王秀娟;郑康锋;杨星海;;线性鉴别分析在中文文本分类中的应用[A];2005通信理论与技术新进展——第十届全国青年通信学术会议论文集[C];2005年
中国博士学位论文全文数据库 前1条
1 杨创新;基于机器学习的高性能中文文本分类研究[D];华南理工大学;2009年
中国硕士学位论文全文数据库 前10条
1 郭超磊;基于SA-SVM的中文文本分类研究[D];上海师范大学;2019年
2 栗蒙光;基于改进的文本相似度算法的中文文本分类技术研究[D];兰州大学;2019年
3 侯永进;基于注意力机制与多元特征融合的中文文本分类方法研究[D];哈尔滨理工大学;2018年
4 张航;基于朴素贝叶斯的中文文本分类及Python实现[D];山东师范大学;2018年
5 尹旭东;基于并行SVM算法的中文文本分类方法研究[D];吉林大学;2018年
6 陈亮;面向武器装备语料的中文文本分类[D];吉林大学;2018年
7 殷越;基于统计方法的中文文本分类[D];华中师范大学;2017年
8 姚芳;基于python的中文文本分类研究[D];华中科技大学;2016年
9 徐晓艳;基于K近邻算法的中文文本分类研究[D];安徽大学;2012年
10 张治国;中文文本分类反馈学习研究[D];西安电子科技大学;2009年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978