收藏本站
《重庆大学》 2010年
收藏 | 手机打开
二维码
手机客户端打开本文

文本分类中特征提取和特征加权方法研究

蒋健  
【摘要】: 随着近年来互联网技术和信息技术的飞速发展,人们可获取的数据量迅速增长。如何快速、准确、全面地从浩瀚的信息资源中寻找到所要的狭小领域内的相关信息内容,已经成为了一项十分有意义的课题。文本分类技术作为解决这一问题的关键技术之一,也成为了研究的热点。 文本分类是一个复杂的系统工程,一般包括文本预处理、特征降维、特征加权、分类器训练和分类器性能评估等几个过程。本文在对这些过程进行详细了解和研究的基础之上,重点探讨了特征降维和特征加权过程。 对高维的特征集进行降维是文本分类过程中的一个重要环节,它不仅可以提高分类器的速度,节省存储空间,还能够过滤一些无关属性,减少无关信息对文本分类过程的干扰,从而提高文本分类的精度和防止过拟合。特征降维可以分为两类:特征抽取和特征提取。特征提取因其方法简单、计算速度快,适合用来处理大规模的文本数据,在文本分类中得到了广泛的应用。本文详细研究了目前常用的特征提取方法,包括文档频数、互信息、信息增益、期望交叉熵、χ2统计量和文本证据权。本文分析了这些方法的各自的特点,针对这些方法的不足之处,结合类间集中度、类内分散度和类内平均频度,提出了一种新的特征提取方法。该方法突出了特征与文本类别的正相关关系,避免了考虑负相关情况所带来的干扰,综合考虑了特征和类别之间的联系,以及特征在类内出现的平均频度,是一种简单有效的特征提取方法。 特征加权过程,能够改善文本集合在向量空间中的分布状态,使得同类文本的空间结构更加紧凑,异类文本的空间结构更加松散,从而简化了从文本到类别的映射关系,有利于提高文本分类器的分类性能。本文研究了经典的特征加权方法——TF-IDF,分析了它由于未考虑特征项在类间和类内的分布情况而导致对稀有特征赋予较大权值,而对类别区分贡献大的特征赋予较小权值的不足之处。进而结合了类间集中度、类内分散度,提出一种TF-IDF公式的改进形式,来弥补原始TF-IDF方法的缺陷。 本文在中文文本分类实验平台上,通过多组对比实验来考察本文提出的新的特征提取方法和改进的TF-IDF方法的有效性。实验结果使用查全率、查准率和F1值等多项评价指标来衡量。结果表明新的特征提取方法能够取得比其他常见特征提取方法更优的降维效果,同时改进的TF-IDF特征加权方法的效果也要好于传统的TF-IDF方法。
【学位授予单位】:

知网文化
【相似文献】
中国期刊全文数据库 前20条
1 刘新生;厉锟;;基于BP神经网络的旅游突发事件文本分类系统的设计与实现[J];计算机与现代化;2011年07期
2 张玉芳;娄娟;李智星;熊忠阳;;基于模糊关系的文本分类方法[J];计算机工程;2011年16期
3 韦妍;;人脸表情识别概述[J];网络安全技术与应用;2011年08期
4 吴春辉;陈洪生;;基于内容的音频检索技术研究[J];咸宁学院学报;2011年06期
5 刘劲;陈瑛琦;扶晓;;虹膜特性提取阶段的小波多尺度特征量化算法[J];电脑编程技巧与维护;2011年14期
6 吴谋硕;;基于遗传算法的文本分类技术[J];电脑知识与技术;2011年22期
7 高金勇;徐朝军;冯奕竸;;基于迭代的TFIDF在短文本分类中的应用[J];情报理论与实践;2011年06期
8 贾志先;;基于支持向量机的空白试卷识别方法[J];山西大学学报(自然科学版);2011年03期
9 胡进;胡桂明;毛世榕;;BP神经网络在说话者识别中的应用[J];装备制造技术;2011年09期
10 王瑞瑞;马建文;陈雪;;多源遥感影像自动配准技术的研究进展[J];遥感信息;2011年03期
11 刘劲;赵蕾;扶晓;;基于小波模极值的虹膜特征提取算法[J];电脑编程技巧与维护;2011年16期
12 蒋强荣;高远;张鸿宾;;基于直方图交核的人脸识别[J];北京工业大学学报;2011年08期
13 黑光月;;基于方向平面特征的脱机女书识别方法研究[J];电脑知识与技术;2011年25期
14 胡洋;吴黎慧;高磊;蒲南江;;基于SVM的语音情感识别研究[J];电子测试;2011年09期
15 杨颖娴;;改进ICA的人脸特征提取方法[J];长江大学学报(自然科学版);2011年05期
16 任淑琴;黄小娟;;新闻发布系统简介[J];电脑开发与应用;2011年07期
17 王静;刘观宁;张钰辉;;网页去重的改进算法[J];微型机与应用;2011年12期
18 程雪敏;;三维模型检索中特征权值的应用研究[J];常州信息职业技术学院学报;2011年04期
19 陈伟;瞿晓;葛丁飞;;主观引导特征提取法在光谱识别中的应用[J];科技通报;2011年04期
20 李莉;吕晓玉;森干;木拉提·哈米提;;基于灰阶的乳腺肿瘤超声图像特征提取[J];医学信息(上旬刊);2011年09期
中国重要会议论文全文数据库 前10条
1 刘华;周凌燕;张普;;面向词典编撰的词汇聚类研究[A];全国第八届计算语言学联合学术会议(JSCL-2005)论文集[C];2005年
2 武洪萍;周国祥;;Web文本挖掘研究[A];计算机技术与应用进展·2007——全国第18届计算机技术与应用(CACIS)学术会议论文集[C];2007年
3 刘华;张普;;面向词典编纂的词汇聚类研究[A];2004年辞书与数字化研讨会论文集[C];2004年
4 牛强;王志晓;陈岱;夏士雄;;基于支持向量机的Web文本分类方法[A];2006年全国开放式分布与并行计算学术会议论文集(一)[C];2006年
5 贾会强;刘晓丽;于洪志;;基于词性特征提取的藏文文本分类方法研究[A];CCF NCSC 2011——第二届中国计算机学会服务计算学术会议论文集[C];2011年
6 黄旭;朱艳琴;罗喜召;;重复串特征提取算法在不良信息检测中的应用[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
7 刘秉权;李博;孙林;王宝勋;刘远超;;标签特征和正文特征融合的SVM博客文本分类算法研究[A];第六届全国信息检索学术会议论文集[C];2010年
8 陈克利;宗成庆;王霞;;基于大规模真实文本的平衡语料分析与文本分类方法[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
9 海丽且木·艾沙;维尼拉·木沙江;;Web文本分类及其维、哈、柯多文种信息检索中的应用研究[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
10 杜长海;吉根林;;模糊聚类的最大树法在文本分类中的应用研究[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
中国重要报纸全文数据库 前10条
1 燕海霞;王忆勤;李福凤;脉象信号研究日渐深入[N];中国医药报;2005年
2 林木树;反垃圾邮件有待新突破[N];人民邮电;2004年
3 沈占锋;遥感影像信息提取与分析[N];计算机世界;2006年
4 王竣;深入开发CAD系统对疾病诊断有重要意义[N];中国医药报;2007年
5 北京数码空间信息技术有限公司技术总监 刘斌;Web Mining:第二代网络信息处理技术[N];计算机世界;2000年
6 中国科学院计算技术研究所 王 斌;内容为王[N];计算机世界;2004年
7 孙哲南 谭铁牛;生物识别的十大关键技术[N];计算机世界;2007年
8 上海 高博;让电脑“听懂”人话[N];电脑报;2008年
9 记者 何腾江 通讯员 周汇成;验钞新技术通过鉴定[N];中山日报;2008年
10 本报记者 刘洪宇;当机器听懂了我们的声音[N];辽宁日报;2008年
中国博士学位论文全文数据库 前10条
1 张旗;基于属性的图像分类研究[D];大连海事大学;2005年
2 张立福;通用光谱模式分解算法及植被指数的建立[D];武汉大学;2005年
3 苏彩红;墙地砖质量自动检测技术的研究[D];华南理工大学;2004年
4 宋余庆;医学图像数据挖掘若干技术研究[D];东南大学;2005年
5 宋晴;基于液滴分析技术和液滴指纹图的液体识别方法的研究[D];天津大学;2005年
6 吴婷;自发脑电脑机接口模式识别关键技术与实验研究[D];上海交通大学;2008年
7 孙真真;基于光学区雷达目标二维像的目标散射特征提取的理论及方法研究[D];中国人民解放军国防科学技术大学;2001年
8 武子玉;矿物近红外光谱信息提取及应用研究[D];吉林大学;2005年
9 王承;基于神经网络的模拟电路故障诊断方法研究[D];电子科技大学;2005年
10 孙蕾;医学图像智能挖掘关键技术研究[D];西北大学;2005年
中国硕士学位论文全文数据库 前10条
1 蒋健;文本分类中特征提取和特征加权方法研究[D];重庆大学;2010年
2 李文;公安执法监督管理中的文本理解技术的研究及其应用[D];南昌大学;2005年
3 陈伟萍;基于语义概念的中文文本分类研究[D];燕山大学;2006年
4 张淼;基于支持向量机的文本分类系统研究[D];大庆石油学院;2008年
5 刘亚南;KNN文本分类中基于遗传算法的特征提取技术研究[D];中国石油大学;2011年
6 谭新;基于语义特征提取的PU文本分类的研究与实现[D];吉林大学;2007年
7 尹志喜;基于内容的垃圾邮件过滤技术研究[D];中北大学;2007年
8 关娜;基于文本分类算法的垃圾短信过滤技术研究[D];电子科技大学;2008年
9 沈贺丹;核心能力评价系统的分类模块研究[D];辽宁工程技术大学;2006年
10 郭飞;文本挖掘方法探讨及应用[D];成都理工大学;2006年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978