收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

中文文本分类的研究与应用

梅君  
【摘要】: 随着信息技术尤其是因特网相关技术的发展与成熟,人们可获得的信息越来越多。面对海量信息,一方面是人们对快速、准确且全面获取信息的渴望,另一方面却是信息的杂乱无序。而文本分类作为处理和组织大量文本数据的关键技术,可在较大程度上解决信息杂乱问题,对于信息的高效管理和有效利用都具有极其现实的意义,并已成为数据挖掘领域中一个重要的研究方向。本文在分析和总结文本分类中文本表示模型、文本预处理、特征选择、特征加权、分类方法和分类性能评价的基础上,对特征选择、特征加权进行了深入研究。本文的主要研究工作如下: (1)针对文本分类中的高维特征空间和冗余特征问题,提出了一种基于类别分布的特征选择,并与ECBF算法相结合,给出了一种二次特征选择方法。其中,基于类别分布的特征选择方法可以较好的处理高维空间问题,并且对特征集进行初步筛选,ECBF算法能够合理的衡量特征之间的冗余程度,用来处理特征冗余问题。通过该二次特征选择方法不仅可以为文本分类选择合适的特征,而且还可以减少大量的冗余特征,从而提高文本分类器的性能。 (2)针对文本分类中的特征加权问题,本文首先详细分析了最经典也是常用的估算特征权重的TF-IDF方法,发现TF-IDF只是能较好的表达一个特征词对一个文档的区分能力,但是没有引入特征词区分一个类和其他类的能力的表示。文本在研究朴素贝叶斯分类模型和TF-IDF特点后,提出一种改进的特征加权估算方法。该估算方法有效的对各个特征词的类别区分能力给出合适的权重。 本文从文本分类的特征选择和特征加权两个方面,分别提出改进的方法,在不同程度上提高了文本分类的性能。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 陈伏虎,宫先仪;遗传与互信息混合算法用于水声目标特征选择[J];信号处理;1997年03期
2 刘斌,曾立波,刘生浩;血液细胞图像自动识别系统的研究[J];计算机工程;2003年01期
3 任江涛;孙婧昊;黄焕宇;印鉴;;一种基于信息增益及遗传算法的特征选择算法[J];计算机科学;2006年10期
4 张惠春;;基于最大熵模型的中文名词短语识别[J];电脑知识与技术;2009年08期
5 王卫玲;孔波;初建崇;杨玫;;一种新的用于文本分类的特征选择算法[J];信息技术与信息化;2009年06期
6 孙雷,王新;一种基于遗传操作和类内类间距离判据理论的特征选择方法[J];计算机工程与应用;2004年21期
7 张向荣,焦李成;基于免疫克隆选择算法的特征选择[J];复旦学报(自然科学版);2004年05期
8 闫相国,明利强;分支定界算法在白细胞特征选择中的应用研究[J];天津职业技术师范学院学报;2004年03期
9 张莉,孙钢,郭军;基于K-均值聚类的无监督的特征选择方法[J];计算机应用研究;2005年03期
10 张维东;朱宏明;周闻钧;;特征选择算法在故障检测中的应用研究[J];无线电通信技术;2006年03期
11 徐峻岭;徐宝文;张卫丰;崔自峰;;一种启发式聚类特征选择方法(英文)[J];东南大学学报(英文版);2006年02期
12 杨端端;金连文;尹俊勋;;MLDA+LDA:手写汉字识别中一种两级LDA分类方法[J];广西师范大学学报(自然科学版);2006年04期
13 李丹;李国正;陆文聪;;用于药物活性预报的Co-Training方法[J];计算机科学;2006年12期
14 严莉莉;张燕平;;基于类信息的文本聚类中特征选择算法[J];计算机工程与应用;2007年12期
15 陈卫东;刘素华;;基于遗传算法的图像特征选择[J];计算机工程与应用;2007年28期
16 陈祥;;基于SVM-RFE的异常入侵检测主机特征选择研究[J];电子测量技术;2007年11期
17 龚静;曾建一;;文本聚类中的特征选择方法[J];吉首大学学报(自然科学版);2008年02期
18 龚静;曾莉;;用于文本分类的特征选择方法[J];湖南环境生物职业技术学院学报;2008年03期
19 袁剑锋;张启蕊;;医药信息文本分类系统中特征选择模块的研究[J];电脑知识与技术;2008年30期
20 周爽;张钧萍;苏宝库;;基于最速上升算法的超光谱图像波段选择搜索算法[J];计算机应用研究;2008年11期
中国重要会议论文全文数据库 前10条
1 李娜;曾向阳;;目标识别中的样本选择和特征选择联合算法研究[A];2009年西安-上海声学学术会议论文集[C];2009年
2 张永;陈思睿;杨志勇;;一种改进的文本分类方法的研究[A];第二届全国信息检索与内容安全学术会议(NCIRCS-2005)论文集[C];2005年
3 王强;曾向阳;王曙光;李娜;;主元分析在水下目标特征选择中的应用[A];中国声学学会水声学分会2011年全国水声学学术会议论文集[C];2011年
4 高砚军;徐华平;;基于窗口自适应灰度共生矩阵的SAR图像分类[A];第六届全国信息获取与处理学术会议论文集(1)[C];2008年
5 李晓丽;王彤;杜振龙;;基于粗糙集理论的流数据最优特征选择[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
6 徐燕;孙春明;王斌;李锦涛;;基于词条频率的特征选择算法研究[A];中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集[C];2006年
7 李爱新;孙铁;郭炎峰;;基于人工神经网络的脑电信号模式分类[A];自动化技术与冶金流程节能减排——全国冶金自动化信息网2008年会论文集[C];2008年
8 靖红芳;王斌;杨雅辉;;基于类别分布的特征选择框架[A];第四届全国信息检索与内容安全学术会议论文集(上)[C];2008年
9 周志红;周新聪;严新平;袁成清;;磨粒特征参数的评价与优化方法研究[A];2006全国摩擦学学术会议论文集(一)[C];2006年
10 李占潮;陈超;周喜斌;邹小勇;;基于遗传算法和支持向量机预测蛋白质结构类[A];第九届全国计算(机)化学学术会议论文摘要集[C];2007年
中国博士学位论文全文数据库 前10条
1 韦娜;基于内容图像检索关键技术研究[D];西北大学;2006年
2 张颖;基于群集智能模式识别方法的研究[D];大连理工大学;2008年
3 吕铁军;通信信号调制识别研究[D];电子科技大学;2000年
4 燕忠;基于蚁群优化算法的若干问题的研究[D];东南大学;2005年
5 陈晓云;文本挖掘若干关键技术研究[D];复旦大学;2005年
6 李勇明;尿沉渣图像自动识别算法的研究[D];重庆大学;2007年
7 刘天羽;基于特征选择技术的集成学习方法及其应用研究[D];上海大学;2007年
8 杨水山;冷轧带钢表面缺陷机器视觉自动检测技术研究[D];哈尔滨工业大学;2009年
9 黄东山;特征选择及半监督分类方法研究[D];华中科技大学;2011年
10 熊文;基于群智的特征选择、分类与聚类挖掘的研究[D];北京邮电大学;2010年
中国硕士学位论文全文数据库 前10条
1 房一鸣;用分类树算法进行上市公司评级的实证研究[D];对外经济贸易大学;2006年
2 刘何秀;神经网络集成算法的研究[D];中国海洋大学;2009年
3 张隆;基于信息论的特征选择和分类算法研究[D];西南农业大学;2005年
4 侯小静;贝叶斯分类器研究及其在Web文档分类中的应用[D];郑州大学;2005年
5 秦永;遥感影像特征提取与选择及在影像分类中的应用[D];辽宁工程技术大学;2005年
6 刘宜萍;基于特征选择的多因素时间序列预测模型研究[D];合肥工业大学;2006年
7 杨打生;特征选择的信息论算法研究[D];东南大学;2005年
8 庞宵;信息熵蚁群算法在特征提取和图像识别中的应用[D];辽宁科技大学;2008年
9 王玉晶;基于禁忌搜索算法的生理信号情感识别研究[D];西南大学;2008年
10 杨瑞请;基于BPSO的生理信号的情感状态识别[D];西南大学;2008年
中国重要报纸全文数据库 前10条
1 周晓娟;TD已过分水岭[N];通信产业报;2008年
2 天相投顾 闻群王聃聃;选基金需考虑风险承受力[N];中国证券报;2007年
3 孙志伟;刘刚检查城防林建设[N];齐齐哈尔日报;2008年
4 郑卫东;高产鹅选种方法和标准[N];中国畜牧兽医报;2007年
5 海通证券 娄静吴先兴;把握风险收益特征选择最适合自己的基金[N];上海证券报;2007年
6 华泰证券 吴璟;权证投资:只买对的,不买便宜的[N];上海证券报;2008年
7 ;现代军队与智能战争[N];中国计算机报;2005年
8 张小明;如何选择供应链[N];现代物流报;2005年
9 张小东;促销之十大常见误区(一)[N];黑龙江经济报;2006年
10 广西钦州灵山县灵城二小 纪雪林;小场地训练途中跑的方法[N];中国体育报;2008年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978