收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

自动文本分类若干基本问题研究

宋枫溪  
【摘要】:本文对基于学习的自动文本分类中的若干基本问题进行了深入的研究,取得了一系列研究成果。现将论文中的主要内容归纳如下。 文本分类的性能评估 本文通过对多标号文本分类特点的研究,强调了正确使用文本性能评估指标的重要性。在逐个分析传统文本分类性能评估指标,如BEP值、F_1值、查全率-查准率曲线等基础上,提出了两种新的性能评估指标:弃真率-取伪率曲线和风险平衡值。同传统评估指标相比,新指标更加直观和易于计算。 文本表示 众所周知,文本分类系统的性能不仅取决于学习算法,而且与文本表示方式密切相关。本文全面考察了停用词、词根、索引方式、特征权和规范化等主要因素对向量空间模型表示能力的影响。对大量仿真实验结果的统计分析表明,进行规范化处理总能大幅提高文本分类器的分类效果。而其他因素对文本分类性能的影响远没有预期的那么大。同人们的普遍认识相反,剔除停用词不仅不能改善文本分类效果,反而甚至会起到降低分类效果的作用。 字符串方式是一种与文本描述语言无关的文本表示方式。由于其存在着数据噪声大、计算复杂、易于过训练等缺点,人们通常认为其表示能力远不如主流文本表示方法——词袋表示法。随着计算机硬件的不断发展和高性能学习算法的涌现,考虑到对东方语言进行分词处理所面临的诸多困难,有必要重新审视字符串方式的文本表示能力。在语料库Reuters-21578上进行的大量实验结果表明,在表示能力方面字符串方式与词袋表示方式并无显著差异。 文本分类领域中一直存在着,通过特征权来改善文本表示能力的朴素思想,但相应的实验结果很不一致。事实上,在很多情况下基于不同特征权的文本表示方式在表示能力方面并不存在显著差异。为了解释这一现象,本文以Bayes分类器为基准分类器,从理论上研究了特征权向量对文本表示能力的可能影响,得出了特征权向量不可能有效改善文本表示能力的重要结论。 特征选择 在文本分类中,特征空间的维数高达几万,甚至远远超出训练样本个数,是一种 Abst限et 博十论文 十分普遍现象。为了使学习算法变得可行,必须首先用特征选择方法降低特征空间的 维数。本文提出了5种新的文本特征选择方法:低损降维、频率差、Bayes准则、Fl 值准则和Fishe:鉴别量。大量实验结果表明,“低损降维”和“频率差”的降维能力 可以与最好的两种经典特征选择方法“互信息”和“x’一统计量”相媲美,但计算效 率更高。 文本分类器 经典Fisher鉴别分析通过最大化类间散度和类内散度的比值来确定样本的最优投 影方向。当类内散布矩阵为奇异矩阵时,最大化Fisher鉴别函数实际上是一个病态问 题。因此,如何处理类内散布矩阵的奇异性成为Fisher鉴别分析的基本任务之一。与 Fisher鉴别分析不同,本文提出的源于Fisher鉴别准则的大间距线性投影将充分利用 类内散布矩阵的奇异性,来确定最优投影方向,并根据投影结果直接对样本进行分类。 理论分析说明,大间距线性投影实际上是线性可分条件下线性支持向量机的一种特殊 情况。 类间散度和类内散度是用来衡量投影样本可分性的两种不同指标。类间散度越 大,投影样本的可分性就越好;类内散度越小,投影样本的可分性也越好。因此,寻 求最大化样本可分性的投影方向,可以归结为求解一个多目标规划问题。Fisher鉴别 准则通过最大化类间散度与类内散度的比值,从而将原来的多目标规划转化为单目标 规划,本文提出的“最大散度差”则通过最大化两者的广义差来达到同样的目的。理 论分析说明,大间距线性投影分类器是类内散布矩阵为奇异矩阵时,最大散度差分类 器的极限情况。 “最小二乘误差”是用于确定线性鉴别函数的重要准则之一,它将寻找鉴别函数 中的权向量的问题,归结为求解一个线性方程组。但是,如何求解这个线性方程组以 获得所需的分离向量,以往的理论研究并不彻底,忽略了很多重要情况。另外,人们 也未能明确给出依据该准则获得的解向量的物理含义。通过研究线性可分条件下“最 小二乘误差”解的物理含义,本文提出了一个新的线性分类器—最小模最小二乘误 差分类器。 大量实验结果表明本文提出的大间距线性投影、最大散度差和最小模最小二乘误 差分类器在文本分类和人脸识别方面均具有十分良好的分类性能,可以与支持向量机 相媲美。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 张小艳;宋丽平;;论文本分类中特征选择方法[J];现代情报;2009年03期
2 蒲筱哥;;Web自动文本分类技术研究综述[J];情报学报;2009年02期
3 刘海峰;王元元;姚泽清;王倩;;一种基于特征聚类的文本分类模型研究[J];情报学报;2008年02期
4 张浩;汪楠;;文本分类技术研究进展[J];科技信息(科学教研);2007年23期
5 刘海峰;刘守生;姚泽清;;一种基于类别的混合型文本特征降维[J];微电子学与计算机;2010年10期
6 王锦;王会珍;张俐;;基于维基百科类别的文本特征表示[J];中文信息学报;2011年02期
7 王煜;;机器学习技术在文本分析中的应用[J];华南金融电脑;2007年05期
8 高秀梅;陈芳;宋枫溪;金忠;;特征权对贝叶斯分类器文本分类性能的影响[J];计算机应用;2008年12期
9 王卫玲;孔波;初建崇;杨玫;;一种新的用于文本分类的特征选择算法[J];信息技术与信息化;2009年06期
10 龚静;曾莉;;用于文本分类的特征选择方法[J];湖南环境生物职业技术学院学报;2008年03期
11 袁剑锋;张启蕊;;医药信息文本分类系统中特征选择模块的研究[J];电脑知识与技术;2008年30期
12 赵俊杰;;论文抄袭检测中特征选择[J];计算机系统应用;2009年09期
13 洪亮;;文本分类中特征选择方法研究及分析[J];科技广场;2009年07期
14 林永民;朱卫东;;模糊kNN在文本分类中的应用研究[J];计算机应用与软件;2008年09期
15 吕震宇;赵爽;林永民;;kNN在文本分类中的应用研究[J];计算机与现代化;2008年11期
16 肖婷;唐雁;;改进的χ~2统计文本特征选择方法[J];计算机工程与应用;2009年14期
17 王博;贾焰;杨树强;周斌;;适用于不确定文本分类的特征选择算法[J];通信学报;2009年08期
18 黄迎春;李晓晔;邓文新;;文本挖掘技术的研究[J];齐齐哈尔大学学报;2006年03期
19 刘健;钱猛;张维明;;基于Fisher线性判别模型的文本特征选择算法[J];国防科技大学学报;2008年05期
20 吕彦红;陈基漓;阮百尧;;基于遗传算法的中文自动分类特征选择[J];山东理工大学学报(自然科学版);2009年01期
中国重要会议论文全文数据库 前10条
1 刘功申;李建华;李生红;;基于类信息的特征选择和加权方法[A];NCIRCS2004第一届全国信息检索与内容安全学术会议论文集[C];2004年
2 张永;陈思睿;杨志勇;;一种改进的文本分类方法的研究[A];第二届全国信息检索与内容安全学术会议(NCIRCS-2005)论文集[C];2005年
3 徐燕;孙春明;王斌;李锦涛;;基于词条频率的特征选择算法研究[A];中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集[C];2006年
4 伍建军;康耀红;;关于文本分类中特征降维方式的研究[A];第三届学生计算语言学研讨会论文集[C];2006年
5 徐燕;王斌;李锦涛;孙春明;;知识增益:文本分类中一种新的特征选择方法[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
6 王秀娟;郭军;郑康锋;;基于互信息可信度的特征选择方法[A];2006通信理论与技术新进展——第十一届全国青年通信学术会议论文集[C];2006年
7 陈庆轩;郑德权;郑博文;赵铁军;李生;;中文文本分类中基于文档频度分布的特征选择方法[A];黑龙江省计算机学会2009年学术交流年会论文集[C];2010年
8 肖婷;唐雁;;文本分类中特征选择方法及应用[A];2008年计算机应用技术交流会论文集[C];2008年
9 陈克利;宗成庆;王霞;;基于大规模真实文本的平衡语料分析与文本分类方法[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
10 朱慕华;陈文亮;朱靖波;;词聚类在文本分类中的应用[A];第二届全国学生计算语言学研讨会论文集[C];2004年
中国博士学位论文全文数据库 前10条
1 宋枫溪;自动文本分类若干基本问题研究[D];南京理工大学;2004年
2 王博;文本分类中特征选择技术的研究[D];国防科学技术大学;2009年
3 李智星;用于文本分类的简明语义分析技术研究[D];重庆大学;2011年
4 冯国忠;文本分类中的贝叶斯特征选择[D];东北师范大学;2011年
5 章舜仲;文本分类中词共现关系的研究及其应用[D];南京理工大学;2010年
6 孟佳娜;迁移学习在文本分类中的应用研究[D];大连理工大学;2011年
7 单建芳;面向事件的文本表示研究[D];上海大学;2012年
8 程军;基于统计的文本分类技术研究[D];中国科学院研究生院(文献情报中心);2003年
9 韦娜;基于内容图像检索关键技术研究[D];西北大学;2006年
10 王素格;基于Web的评论文本情感分类问题研究[D];上海大学;2008年
中国硕士学位论文全文数据库 前10条
1 张桂喜;基于语义的领域相关文本分类研究[D];北京工业大学;2011年
2 马宏伟;基于SVM的中文文本分类系统的建模与实现[D];大连理工大学;2006年
3 王小燕;文本分类相关技术与应用研究[D];西北大学;2007年
4 董梅;文本内容的信息过滤技术研究[D];合肥工业大学;2006年
5 郭明;基于文本分类技术的文本情感倾向性研究[D];郑州大学;2010年
6 孟杰;基于构造性覆盖算法的中文文本分类[D];安徽大学;2007年
7 杜圣东;基于多类支持向量机的文本分类研究[D];重庆大学;2007年
8 王新丽;中文文本分类系统的研究与实现[D];天津大学;2007年
9 闫晨;KNN文本分类研究[D];燕山大学;2010年
10 段江丽;基于SVM的文本分类系统中特征选择与权重计算算法的研究[D];太原理工大学;2011年
中国重要报纸全文数据库 前10条
1 周晓娟;TD已过分水岭[N];通信产业报;2008年
2 上渊;新一代网络技术IPv9走向商用[N];中国高新技术产业导报;2004年
3 王萍;Web文本的知识化管理[N];计算机世界;2006年
4 天相投顾 闻群王聃聃;选基金需考虑风险承受力[N];中国证券报;2007年
5 中国科学院计算技术研究所 王 斌;内容为王[N];计算机世界;2004年
6 孙志伟;刘刚检查城防林建设[N];齐齐哈尔日报;2008年
7 郑卫东;高产鹅选种方法和标准[N];中国畜牧兽医报;2007年
8 高利华;传承陆游风骨 推进国际交流[N];人民日报海外版;2005年
9 记者 朱蓓宁实习生 施蜜;带合同示范文本放心出境游[N];南通日报;2007年
10 海通证券 娄静吴先兴;把握风险收益特征选择最适合自己的基金[N];上海证券报;2007年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978