收藏本站
《江西师范大学》 2005年
收藏 | 手机打开
二维码
手机客户端打开本文

基于投影寻踪回归的文本分类研究

廖海波  
【摘要】:用向量表示文本是目前信息检索中最常用的方法,但在向量模型中,特征空间的维数通常高达数万维,如此高维的特征向量的处理具有极高的计算复杂度,而且会产生所谓的“维数灾难问题”,这就要求我们对高维数据进行降维,而合理的降维技术也正是文本自动分类的研究难点。 现有的文本自动分类中的降维方法大多是建立在数据总体服从正态分布这个假定基础之上的,而文本特征数据并不满足正态分布假定,需要用稳健的或非参数的方法来解决这个问题。投影寻踪是用来分析和处理高维观测数据,尤其是非正态、非线性高维数据的一种新兴统计方法。由于投影寻踪回归算法(PPR)本身不对观测数据做正态分布等假定,所以该方法能最充分地利用高维观测数据中的所有信息,特别是可以利用常规方法无法利用的非正态信息和复杂的非线性信息。因此,本文提出了基于投影寻踪回归的文本自动分类算法,通过投影寻踪回归算法,可以真实地描述高维数据的客观内在规律,从而达到降低特征维数,提高文本分类的精度的目的。 基于投影寻踪回归的文本分类方法的思想是:将文本表示为向量形式,然后将此高维数据投影到低维子空间上,并寻找出最能反映原高维数据的结构和特征的投影方向,然后将文本投影到这些方向,并用岭函数进行拟合,通过反复选取最优投影方向,增加岭函数有限项个数的方法使高维数据降低维数,最后采用普通的文本分类算法进行分类。 我们采用标准文档集:Reuters-21578进行了分类实验,并同时在相同的预处理条件下,与目前常用的方法进行了对比实验,实验结果表明,该模型对文本自动分类具有较高的召回率和准确率,该方法是一个可行而有效的文本分类方法。 本文的主要创新特点如下: 1.将投影寻踪回归方法应用于文本自动分类,通过投影指标来确定投影方向,反复将文本向量投影到一维空间,然后用岭函数进行拟合,进行高维数据的降维,最后进行文本的自动分类。 2.采用Hermite正交多项式拟合岭函数,大大降低计算复杂度。
【学位授予单位】:江西师范大学
【学位级别】:硕士
【学位授予年份】:2005
【分类号】:TP391.1

【相似文献】
中国期刊全文数据库 前10条
1 吴谋硕;;基于遗传算法的文本分类技术[J];电脑知识与技术;2011年22期
2 高金勇;徐朝军;冯奕竸;;基于迭代的TFIDF在短文本分类中的应用[J];情报理论与实践;2011年06期
3 胥桂仙;向春丞;翁彧;赵小兵;杨国胜;;基于栏目的藏文网页文本自动分类方法[J];中文信息学报;2011年04期
4 张国梁;肖超锋;;基于SVM新闻文本分类的研究[J];电子技术;2011年08期
5 刘新生;厉锟;;基于BP神经网络的旅游突发事件文本分类系统的设计与实现[J];计算机与现代化;2011年07期
6 王斌;朴顺姬;邵华清;;基于粗糙集的KNN的WEB文本分类的研究[J];数字技术与应用;2011年08期
7 张春元;;基于条件随机场的文本分类模型[J];计算机技术与发展;2011年07期
8 卢志翔;蒙丽莉;;文本分类中特征项权重算法的改进[J];柳州师专学报;2011年04期
9 甄志龙;曾晓勤;韩立新;;文本分类中基于图模型的特征提取方法[J];情报科学;2011年08期
10 奉国和;;文本分类性能评价研究[J];情报杂志;2011年08期
中国重要会议论文全文数据库 前10条
1 陈克利;宗成庆;王霞;;基于大规模真实文本的平衡语料分析与文本分类方法[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
2 杜长海;吉根林;;模糊聚类的最大树法在文本分类中的应用研究[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
3 刘秉权;李博;孙林;王宝勋;刘远超;;标签特征和正文特征融合的SVM博客文本分类算法研究[A];第六届全国信息检索学术会议论文集[C];2010年
4 贾会强;刘晓丽;于洪志;;基于词性特征提取的藏文文本分类方法研究[A];CCF NCSC 2011——第二届中国计算机学会服务计算学术会议论文集[C];2011年
5 海丽且木·艾沙;维尼拉·木沙江;;Web文本分类及其维、哈、柯多文种信息检索中的应用研究[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
6 商炳章;白清源;;基于特征项权重改进的关联文本分类[A];第二十五届中国数据库学术会议论文集(二)[C];2008年
7 胡俊;黄厚宽;;一种基于SVM的可视化文本分类的方法[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
8 朱慕华;陈文亮;朱靖波;;词聚类在文本分类中的应用[A];第二届全国学生计算语言学研讨会论文集[C];2004年
9 王小华;陆蓓;张国煊;;文本自动分类的模糊方法[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
10 庞剑锋;程学旗;;反馈方法在文本分类系统中的应用[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
中国重要报纸全文数据库 前10条
1 本报记者 红 敏;诉讼不影响创维数码[N];证券日报;2005年
2 本报记者 杨越平 张清;创维数码逆市上扬[N];亚太经济时报;2003年
3 本报记者 李远方;创维数码走出危机阴影[N];中国商报;2005年
4 记者 厚朴 奉周;七十岁王殿甫有望执掌创维数码[N];中国证券报;2004年
5 记者 黄立锋;创维数码再次推迟公布财报[N];中国证券报;2005年
6 本报记者 李亚 蒋飞;传港基金大幅撇账创维数码 创维复牌后或将被无情洗仓[N];第一财经日报;2004年
7 记者 厚朴;创维数码人事变动求复牌[N];中国证券报;2004年
8 密贤松 陈胜伟;创维数码抢占市场制高点[N];华夏时报;2002年
9 周明喜;创维数码去年纯利升至3.42亿港元[N];中国贸易报;2004年
10 云南 洪贤林;创维数码系列彩电I~(2)C总线的调整方法[N];电子报;2002年
中国博士学位论文全文数据库 前10条
1 章舜仲;文本分类中词共现关系的研究及其应用[D];南京理工大学;2010年
2 孟佳娜;迁移学习在文本分类中的应用研究[D];大连理工大学;2011年
3 李智星;用于文本分类的简明语义分析技术研究[D];重庆大学;2011年
4 刘伍颖;面向垃圾信息过滤的主动多域学习文本分类方法研究[D];国防科学技术大学;2011年
5 王博;文本分类中特征选择技术的研究[D];国防科学技术大学;2009年
6 冯国忠;文本分类中的贝叶斯特征选择[D];东北师范大学;2011年
7 程军;基于统计的文本分类技术研究[D];中国科学院研究生院(文献情报中心);2003年
8 沈陆明;数的表示理论与分形[D];华中科技大学;2012年
9 范申;非线性迭代函数系与Schr(?)dinger算子的谱的分形性质[D];清华大学;2010年
10 万源;基于语义统计分析的网络舆情挖掘技术研究[D];武汉理工大学;2012年
中国硕士学位论文全文数据库 前10条
1 张彪;文本分类中特征选择算法的分析与研究[D];中国科学技术大学;2010年
2 叶磊;电子公告系统环境中的数据挖掘技术设计与实现[D];华东交通大学;2009年
3 张保富;基于粗糙集的中文文本分类算法研究及应用[D];江苏大学;2010年
4 蒋健;文本分类中特征提取和特征加权方法研究[D];重庆大学;2010年
5 闫晨;KNN文本分类研究[D];燕山大学;2010年
6 苏小康;基于维基百科构建语义知识库及其在文本分类领域的应用研究[D];华中师范大学;2010年
7 李璇;基于坐标下降法的半监督学习算法及其在文本分类中的应用[D];华南理工大学;2010年
8 宋志理;基于LDA模型的文本分类研究[D];西安理工大学;2010年
9 郭志毅;基于EM算法的半监督文本分类方法研究[D];重庆邮电大学;2010年
10 吕小勇;多标签文本分类算法研究[D];山西财经大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026