收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于AdaBoost-GASVM算法和LDA主题模型的短文本分类研究

皮丽琴  
【摘要】:随着移动互联网技术的发展,微信、微博、团购等逐渐进入日常生活,越来越多的人享受到它们带来的便捷,同时导致海量信息的出现。如何从这些浩瀚而繁杂的文本信息中快速而精确的找到所需内容,对其进行挖掘成了一大目标。这些文本信息是长度较短、内容精炼而内聚、特征稀疏的短文本,采用传统模型对其分类缺乏一定的适用性。支持向量机(Support Vector Machine,简称SVM)已经广泛应用到模式识别领域中,具有比较好的分类效果和泛化能力。但仍存在许多问题亟待解决,如模型、参数选择问题,以及对大规模训练集的效率问题。针对SVM缺点以及短文本篇幅简短、特征稀疏等特点,本文提出了一种基于自适应提升树(Adaptive Boosting,简称Ada Boost)集成的遗传算法自动选取参数的支持向量机(简称Ada Boost-GASVM)和隐含狄利克雷分布(Latent Dirichlet Allocation,简称LDA)主题模型的短文本分类算法。首先,在SVM中利用遗传算法对参数自动寻优,同时将集成学习技术引入到SVM中更好的提高SVM的泛化能力。得到一种以遗传算法自动选取参数的支持向量机为弱分类器,基于Ada Boost集成的强分类器Ada Boost-GASVM来增强学习。通过实验验证了该集成分类器能在一定程度上提高分类精度。其次,在短文本原始特征的基础上通过Bi-Gram方法进行一次扩展,再利用LDA主题模型得到短文本对应的主题分布,把主题中的词作为部分特征扩充到原特征中,然后利用上述Ada Boost-GASVM分类器进行短文本的分类。实验表明在不同类别短文本上,该方法与传统向量空间模型表示特征的方法对比短文本分类精度都有所提高。因此得出结论在短文本分类中基于Bi-Gram和LDA主题模型的特征扩展方法是有效的。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 赵江,徐鲁安;基于AdaBoost算法的目标检测[J];计算机工程;2004年04期
2 杨艳;燕东渭;赵奎锋;魏亭;;综合学习方法AdaBoost在暴雨预测中的应用[J];计算机系统应用;2007年01期
3 朱文球;刘强;;融合AdaBoost和启发式特征搜索的人脸性别分类[J];计算机工程;2007年02期
4 罗明刚;李一民;曾素娣;;基于Adaboost算法的人脸检测研究[J];计算机与数字工程;2007年02期
5 李建彬;王勇;郑辉;牛忠霞;;AdaBoost for Improved Voice-Band Signal Classification[J];Journal of Donghua University(English Edition);2007年02期
6 熊盛武;宗欣露;朱国锋;;改进的基于AdaBoost算法的人脸检测方法[J];计算机应用研究;2007年11期
7 王磊;杜利民;王劲林;;基于AdaBoost的音乐情绪分类[J];电子与信息学报;2007年09期
8 龙敏;黄福珍;边后琴;;基于Adaboost算法的多角度人脸检测[J];计算机仿真;2007年11期
9 何毓知;陆建峰;;基于Adaboost的行道线检测[J];江南大学学报(自然科学版);2007年06期
10 朱文佳;戚飞虎;;基于Gentle Adaboost的行人检测[J];中国图象图形学报;2007年10期
11 陈伟琦;梁一川;易强;秦文虎;;基于肤色和Adaboost算法的人脸检测研究[J];计算机技术与发展;2008年12期
12 范一峰;颜志英;;一个基于Adaboost的快速人脸检测系统的实现[J];计算机与现代化;2008年12期
13 郭烈;王荣本;张明恒;金立生;;基于Adaboost算法的行人检测方法[J];计算机工程;2008年03期
14 唐奇;苏光大;;基于Adaboost算法的硬件实时人脸检测[J];计算机工程;2008年07期
15 张萌;胡显伟;王元斌;张斌;;AdaBoost算法在中医舌诊图像分区识别中的研究[J];小型微型计算机系统;2008年06期
16 郑诚;张瑞;陈娟娟;;标记样本的Adaboost算法[J];计算机技术与发展;2008年07期
17 魏昱宁;张丽;王吉军;魏小鹏;郝博;;基于Adaboost的快速视频人脸检测[J];大连大学学报;2008年03期
18 潘奇明;朱谊强;;一种新的Adaboost样本权重更新算法[J];重庆工学院学报(自然科学版);2008年06期
19 刘欢喜;刘允才;;一种基于Adaboost算法的人脸检测[J];上海交通大学学报;2008年07期
20 李建军;张江;;基于改进的Adaboost算法的交通事件自动检测[J];计算机工程与应用;2008年20期
中国重要会议论文全文数据库 前10条
1 Wen Feng;;A Novel Lips Detection Method Combined Adaboost Algorithm and Camshift Algorithm[A];2012年计算机应用与系统建模国际会议论文集[C];2012年
2 张超;苗振江;;基于AdaBoost的面部信息感知[A];第十三届全国信号处理学术年会(CCSP-2007)论文集[C];2007年
3 郭翌;汪源源;;基于Adaboost算法的颈动脉粥样硬化判别方法[A];中国仪器仪表学会第十一届青年学术会议论文集[C];2009年
4 张红梅;高海华;王行愚;;抑制样本噪声的AdaBoost算法及其在入侵检测中的应用[A];2007年中国智能自动化会议论文集[C];2007年
5 陆文聪;钮冰;金雨欢;;基于AdaBoost算法的亚细胞位置预测[A];中国化学会第26届学术年会化学信息学与化学计量学分会场论文集[C];2008年
6 陈宏伟;刘建伟;费向东;;一种半监督环境下的Adaboost算法[A];2008'中国信息技术与应用学术论坛论文集(二)[C];2008年
7 唐晓丹;苗振江;;基于AdaBoost和粒子滤波的目标跟踪[A];第十四届全国图象图形学学术会议论文集[C];2008年
8 张彬;金连文;;基于AdaBoost的手写体汉字相似字符识别[A];第二十六届中国控制会议论文集[C];2007年
9 ;Using Skin Color and HAD-AdaBoost Algorithm for Face Detection in Color Images[A];Information Technology and Computer Science—Proceedings of 2012 National Conference on Information Technology and Computer Science[C];2012年
10 肖磊;李丽;肖佳文;;基于AdaBoost-SVM的上市公司信用风险评估[A];2012管理创新、智能科技与经济发展研讨会论文集[C];2012年
中国博士学位论文全文数据库 前3条
1 刘冲;模拟电路故障诊断AdaBoost集成学习方法研究[D];大连海事大学;2011年
2 张太宁;人眼注视点估计方法的研究[D];南开大学;2013年
3 赵培英;基于智能计算的膜蛋白结构与相互作用预测研究[D];东华大学;2010年
中国硕士学位论文全文数据库 前10条
1 张驰;基于粒子群的AdaBoost算法及其在人脸检测中的应用研究[D];华中师范大学;2010年
2 史万莉;基于协作AdaBoost的多特征多姿态人脸检测研究[D];中北大学;2011年
3 龙敏;基于多示例学习的Adaboost算法及其在人脸检测中的应用[D];上海交通大学;2007年
4 林鹏;基于Adaboost算法的人脸检测研究及实现[D];西安理工大学;2007年
5 孙炜;Adaboost算法在嵌入式系统中的实现与改进[D];上海交通大学;2008年
6 邓鹏;基于肤色和AdaBoost的多姿态人脸检测方法[D];北京理工大学;2008年
7 崔晓青;基于AdaBoost算法的人脸检测系统的研究与实现[D];吉林大学;2008年
8 陈超;基于新特征的AdaBoost算法的色情图片检测[D];广西民族大学;2011年
9 夏云伟;基于Adaboost算法的人脸检测的研究[D];黑龙江大学;2011年
10 廖文军;基于连续Adaboost算法的多角度人脸检测技术研究与实现[D];南京邮电大学;2012年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978