收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于统计的文本分类技术研究

程军  
【摘要】: 随着互联网的发展,公众既感到信息资源十分丰富,同时又感觉想找到所需的信息相对较难。笔者认为原因之一是现有的信息系统还没有能够对信息资源进行有效的组织管理,解决此问题的途径很多,内容管理是其中之一,而文本分类则是所有基于内容的文本信息管理的基础,因此笔者在参与“中美百万册书数字图书馆”、“国家科学数字图书馆”等研究项目的同时,从理论、技术和实践三个方面对文本分类进行了深入的探讨,并采用文本分类技术来辅助解决了信息系统建设中资源服务、管理和采集方面的一些问题。 在信息资源服务方面,本文首先从理论上分析了文本检索和文本分类的关系。笔者认为“分类”与“检索”是密不可分的信息获取手段,它们之间能够互相促进、互相补充。常规检索方式中由于用户所给的查询条件很少,因此要检索出用户所需要的文档确实是非常困难的一项工作。因此,如果能充分地将文本分类技术应用到检索系统当中,能够有效提高文本检索的效果。本文在“中美百万册书的层次检索系统”中将分类体系与文本检索相结合,验证了上面的设想;在“基于内容的信息推荐系统”中将文本分类技术应用到检索中,在服务模式上为用户提供了基于内容的服务,在技术上对算法进行了研究,并构建了原型系统,理论上可以支持对一百万册书检索,并能够达到秒级响应速度。 在信息资源管理方面,由于海量信息资源的出现,采用人工方式进行管理越来越不切实际,采用计算机管理又达不到人工管理的精确程度。本文从理论方面指出了其中存在的核心问题,即常用的等级列举式分类体系与文本分类算法之间存在的矛盾:由于两者用来描述信息的数据结构不同,导致无法完美地相互结合,从而降低了分类算法的正确率,也不利于检索系统的构建。在“中英文物理网站分类系统”案例中,本文通过对分类体系和训练数据进行分析,取得了采用文本分类技术来进行信息资源管理的一些经验。 在信息资源建设方面,本文用“冗余网页过滤系统”来说明如何解决资源建设中的重复建设问题,在研究中主要针对算法的时间复杂度和空间复杂度进行了优化,找到了表达一篇文档的最优特征项个数数值,在确保正确率的基础上加快过滤速度。在“2002年TREC文本过滤比赛”案例中,对比了一般类目和组合类目在文本过滤中的不同之处,并通过此案例说明了如何将文本分类技术研究中的成果应用在实际文本过滤系统当中,并得到如下结论:只有将文本分类系统的各方面技术进行综合考虑,才能够最终取得更好的分类效果。 另外,本文还探讨了文本分类和文本检索评价指标之间的关系。在文本分类领域,有时也采用查全率和查准率作为评价指标,但更常用的是分类正确率。笔者通过例子来说明文本检索中仅仅采用查全率和查准率来评价检索系统所可能存在的问题,然后从理论上探讨了查全率、查准率和分类正确率之间的关系。 要想提高基于内容的信息服务质量,需要在技术方面从根本上提高文本分类 摘要 算法的正确率,因此本文全面研究了基于统计的自动文本分类方法,包括特征项 提取、赋权、分类器构建等问题。 l)特征提取方面主要研究了特征项降维和N元模型。为了对文档进行充分表达, 笔者对中文文本采用了多层次特征表示方法:系统通过从汉字、常用词表和专 业词表三个层次上提取文档的统计特征,从而能够更好地反映文档特征项的统 计分布规律,为提高分类正确率打下基础。 2)在特征项赋权方面,本文考察了先前的实验结果,对多种赋权方式进行了实 验,如文档频率、信息嫡、互信息和X2统计量。通过分析这些赋权方式之间的 理论矛盾和实验结果,笔者详细探讨了特征项与类别之间的关系,提出了综合 赋权方式,从多方面考虑特征项权重,并取得比单一赋权方式更好的实验结果。 3)在分类器构建方面,主要考察了三种分类器,Rocchi。、KNN和SVM。其中 KNN和SVM是公认的较好的分类器。但笔者认为Rocchi。有其自己的特点, 如能够直观地反映每个类的特征,且时间和空间复杂度都较低。在笔者的实验 当中,通过对其进行改进,并与特征选择和赋权相结合,系统的封闭测试分类 正确率可接近100%,开放测试正确率也明显提高,接近KNN和SVM算法。 本文的实验环境采用的是中国大百科全书的原文和分类体系,标准的实验数 据既减少了分类体系类目之间的交叉,又保证了文档与分类体系的相关性,从根 本上保证了实验结果的可信度。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 台德艺;谢飞;胡学钢;;文本分类技术研究[J];合肥学院学报(自然科学版);2007年03期
2 王卫玲;孔波;初建崇;杨玫;;一种新的用于文本分类的特征选择算法[J];信息技术与信息化;2009年06期
3 龚静;曾莉;;用于文本分类的特征选择方法[J];湖南环境生物职业技术学院学报;2008年03期
4 袁剑锋;张启蕊;;医药信息文本分类系统中特征选择模块的研究[J];电脑知识与技术;2008年30期
5 洪亮;;文本分类中特征选择方法研究及分析[J];科技广场;2009年07期
6 邱烨;刘培玉;张立伟;;基于语义神经网络的文本特征选择方法的研究[J];山东科学;2009年01期
7 林永民;朱卫东;;模糊kNN在文本分类中的应用研究[J];计算机应用与软件;2008年09期
8 吕震宇;赵爽;林永民;;kNN在文本分类中的应用研究[J];计算机与现代化;2008年11期
9 肖婷;唐雁;;改进的χ~2统计文本特征选择方法[J];计算机工程与应用;2009年14期
10 黄迎春;李晓晔;邓文新;;文本挖掘技术的研究[J];齐齐哈尔大学学报;2006年03期
11 刘健;钱猛;张维明;;基于Fisher线性判别模型的文本特征选择算法[J];国防科技大学学报;2008年05期
12 吕彦红;陈基漓;阮百尧;;基于遗传算法的中文自动分类特征选择[J];山东理工大学学报(自然科学版);2009年01期
13 王博;贾焰;杨树强;周斌;;适用于不确定文本分类的特征选择算法[J];通信学报;2009年08期
14 王晓微;;两种分类方法特征选择的比较[J];电子技术;2007年Z3期
15 朱颢东;钟勇;;使用优化模拟退火算法的文本特征选择[J];计算机工程与应用;2010年04期
16 伍建军;康耀红;;基于改进的互信息特征选择的文本分类[J];计算机应用;2006年S2期
17 符会涛;卡米力·木衣丁;;一种改进的文本特征选择方法的研究与设计[J];计算机应用与软件;2011年04期
18 刘洋;;中文文本分类中特征选择方法的比较研究[J];科技信息;2007年03期
19 裴志利;李志刚;王建;孔英;梁艳春;卢弈南;;一种基于改进互信息的文本分类方法[J];内蒙古民族大学学报(自然科学版);2007年04期
20 吕震宇;林永民;赵爽;陈景年;朱卫东;;基于类信息的文本特征选择与加权算法研究[J];计算机工程与应用;2008年20期
中国重要会议论文全文数据库 前10条
1 张永;陈思睿;杨志勇;;一种改进的文本分类方法的研究[A];第二届全国信息检索与内容安全学术会议(NCIRCS-2005)论文集[C];2005年
2 陈克利;宗成庆;王霞;;基于大规模真实文本的平衡语料分析与文本分类方法[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
3 徐燕;孙春明;王斌;李锦涛;;基于词条频率的特征选择算法研究[A];中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集[C];2006年
4 刘功申;李建华;李生红;;基于类信息的特征选择和加权方法[A];NCIRCS2004第一届全国信息检索与内容安全学术会议论文集[C];2004年
5 杜长海;吉根林;;模糊聚类的最大树法在文本分类中的应用研究[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
6 伍建军;康耀红;;关于文本分类中特征降维方式的研究[A];第三届学生计算语言学研讨会论文集[C];2006年
7 徐燕;王斌;李锦涛;孙春明;;知识增益:文本分类中一种新的特征选择方法[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
8 肖婷;唐雁;;文本分类中特征选择方法及应用[A];2008年计算机应用技术交流会论文集[C];2008年
9 刘秉权;李博;孙林;王宝勋;刘远超;;标签特征和正文特征融合的SVM博客文本分类算法研究[A];第六届全国信息检索学术会议论文集[C];2010年
10 王秀娟;郭军;郑康锋;;基于互信息可信度的特征选择方法[A];2006通信理论与技术新进展——第十一届全国青年通信学术会议论文集[C];2006年
中国博士学位论文全文数据库 前10条
1 程军;基于统计的文本分类技术研究[D];中国科学院研究生院(文献情报中心);2003年
2 王博;文本分类中特征选择技术的研究[D];国防科学技术大学;2009年
3 章舜仲;文本分类中词共现关系的研究及其应用[D];南京理工大学;2010年
4 孟佳娜;迁移学习在文本分类中的应用研究[D];大连理工大学;2011年
5 冯国忠;文本分类中的贝叶斯特征选择[D];东北师范大学;2011年
6 李智星;用于文本分类的简明语义分析技术研究[D];重庆大学;2011年
7 刘伍颖;面向垃圾信息过滤的主动多域学习文本分类方法研究[D];国防科学技术大学;2011年
8 宋枫溪;自动文本分类若干基本问题研究[D];南京理工大学;2004年
9 平源;基于支持向量机的聚类及文本分类研究[D];北京邮电大学;2012年
10 尚文倩;文本分类及其相关技术研究[D];北京交通大学;2007年
中国硕士学位论文全文数据库 前10条
1 郭明;基于文本分类技术的文本情感倾向性研究[D];郑州大学;2010年
2 闫晨;KNN文本分类研究[D];燕山大学;2010年
3 董梅;文本内容的信息过滤技术研究[D];合肥工业大学;2006年
4 段江丽;基于SVM的文本分类系统中特征选择与权重计算算法的研究[D];太原理工大学;2011年
5 赵小华;KNN文本分类中特征词权重算法的研究[D];太原理工大学;2010年
6 张玉杰;基于偏斜数据集的中文文本分类问题的改进特征权重算法研究[D];东北师范大学;2010年
7 张彪;文本分类中特征选择算法的分析与研究[D];中国科学技术大学;2010年
8 张保富;基于粗糙集的中文文本分类算法研究及应用[D];江苏大学;2010年
9 蒋健;文本分类中特征提取和特征加权方法研究[D];重庆大学;2010年
10 黄辉;基于LSI和SVC的网页文本分类算法研究[D];长沙理工大学;2010年
中国重要报纸全文数据库 前10条
1 周晓娟;TD已过分水岭[N];通信产业报;2008年
2 中国科学院计算技术研究所 王 斌;内容为王[N];计算机世界;2004年
3 天相投顾 闻群王聃聃;选基金需考虑风险承受力[N];中国证券报;2007年
4 孙志伟;刘刚检查城防林建设[N];齐齐哈尔日报;2008年
5 高利华;传承陆游风骨 推进国际交流[N];人民日报海外版;2005年
6 郑卫东;高产鹅选种方法和标准[N];中国畜牧兽医报;2007年
7 海通证券 娄静吴先兴;把握风险收益特征选择最适合自己的基金[N];上海证券报;2007年
8 记者 徐建华;“绿色上网”新标准为手机扫黄[N];中国质量报;2010年
9 林木树;反垃圾邮件有待新突破[N];人民邮电;2004年
10 希安;微软试水信息检索[N];经济日报;2004年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978