收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

数据挖掘系统及其应用研究——用关联特征提高朴素贝叶斯文本分类器的性能

张利军  
【摘要】: 文本分类就是自动地将自然语言文本文档根据其内容分类到预定义好的类别中去。随着在线文本文档数量的快速增长,文本分类已经成为处理和组织文本数据的一种关键技术。文本分类技术可以用来对新闻分类,可以从互联网上发现有用信息,还可以用在搜索引擎中提高搜索效率。 朴素贝叶斯分类器由于其简单性及计算的有效性,一直在文本分类领域中占有很重要的地位。但是由于传统的朴素贝叶斯分类器以单个的单词作为特征,并且认为任意两个单词之间的出现与否是互不相关的,即单词之间是相互独立的,在现实世界中这种假设显然是不成立的,这在一定程度上影响了分类器的性能,如果能够减轻或消除这一假设的影响,就可以提高分类器的性能。 为了减轻朴素贝叶斯假设对分类器性能的影响,我们提出了关联特征的概念,关联特征是多个同时在一个文档中频繁出现的单词的集合。关联特征不但能够比单个的单词更好地描述一个概念,而且能够描述它所包含的单个单词(称之为原始特征)不能描述的概念。 在Apriori算法的基础上,我们提出了一种挖掘关联特征的算法ATM(Association Terms Mining),用来在训练文档集上挖掘频繁的关联特征。为了压缩特征空间,提高分类效率和性能,同时提出了对关联特征进行剪枝的冗余剔除算法和利用信息增益进行筛选的特征筛选算法,并以关联特征作为分类特征实现了我们的文本分类系统NBAT。 在Reuters21578文档集中10个类别上的测试结果表明,关联特征能够提高朴素贝叶斯文本分类器的性能。使用关联特征比不使用关联特征在Support=0.1时,宏平均BEP提高了6.9%,而宏平均F_1提高了12.2%。 在本文的结尾,指出了NBAT的主要不足,即挖掘效率低,当特征空间较大,或设置的支持度阈值比较低时,难以挖掘出所需要的关联特征,并提出了可能的解决方法。最后展望了以后的研究工作的几个方向。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 夏克俭;张涛;;基于贝叶斯算法的垃圾邮件过滤的研究[J];微计算机信息;2008年09期
2 崔彩霞;张朝霞;;文本分类方法对比研究[J];太原师范学院学报(自然科学版);2007年04期
3 李丹;张兆信;宗占国;;利用开源的数据挖掘平台WEKA进行文本分类仿真实验[J];煤炭技术;2011年05期
4 杨延娇;王治和;;基于树桩网络的贝叶斯文本分类算法[J];计算机工程;2009年16期
5 袁文生;王晓峰;;基于朴素贝叶斯的中文海事文本多分类器研究[J];计算机与现代化;2011年05期
6 靳小波;夏清国;;基于Lee模型的文本分类[J];计算机工程;2006年02期
7 郭飞;张先君;叶俊;;基于改进互信息的特征提取的文本分类系统[J];四川理工学院学报(自然科学版);2008年03期
8 赵培;牛纪桢;史金艳;;改进的SVM在语音识别文本分类中的应用[J];广西师范大学学报(自然科学版);2009年01期
9 孙铁利;赵隽;杨凤芹;吴迪;;一种基于相对特征的文本分类算法[J];东北师大学报(自然科学版);2010年01期
10 牛罡;罗爱宝;商琳;;半监督文本分类综述[J];计算机科学与探索;2011年04期
11 周国强;崔荣一;;基于朴素贝叶斯分类器的朝鲜语文本分类的研究[J];中文信息学报;2011年04期
12 王潇;胡鑫;;一种改进的贝叶斯文本分类模型[J];邢台职业技术学院学报;2006年01期
13 谢伟全;叶强;李一军;;基于用户知识的中文电子邮件分类[J];计算机应用研究;2007年03期
14 梁宏胜;徐建民;成岳鹏;;一种改进的朴素贝叶斯文本分类方法[J];河北大学学报(自然科学版);2007年03期
15 安艳辉;董五洲;游自英;;基于改进的朴素贝叶斯文本分类研究[J];河北省科学院学报;2007年01期
16 陈世立;高野军;;基于神经网络与贝叶斯的混合文本分类研究[J];情报杂志;2007年05期
17 李辉;张琦;卢湖川;;基于内容的垃圾短信过滤[J];计算机工程;2008年12期
18 苑俊英;陈海山;;一种改进的特征选取方法[J];科技信息;2009年04期
19 程春惠;何钦铭;;面向不均衡类别朴素贝叶斯犯罪案件文本分类[J];计算机工程与应用;2009年35期
20 王潇;;对贝叶斯文本分类模型的改进[J];现代计算机(专业版);2008年01期
中国重要会议论文全文数据库 前10条
1 石志伟;吴功宜;;改善朴素贝叶斯在文本分类中的稳定性[A];NCIRCS2004第一届全国信息检索与内容安全学术会议论文集[C];2004年
2 王占一;徐蔚然;刘东鑫;郭军;;一种基于两级分类器的垃圾短信过滤方法[A];第五届全国信息检索学术会议论文集[C];2009年
3 陈克利;宗成庆;王霞;;基于大规模真实文本的平衡语料分析与文本分类方法[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
4 杜长海;吉根林;;模糊聚类的最大树法在文本分类中的应用研究[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
5 刘秉权;李博;孙林;王宝勋;刘远超;;标签特征和正文特征融合的SVM博客文本分类算法研究[A];第六届全国信息检索学术会议论文集[C];2010年
6 李海军;王钲旋;王利民;苑森淼;;基于主成分分析提升朴素贝叶斯[A];中国仪器仪表学会第六届青年学术会议论文集[C];2004年
7 海丽且木·艾沙;维尼拉·木沙江;;Web文本分类及其维、哈、柯多文种信息检索中的应用研究[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
8 商炳章;白清源;;基于特征项权重改进的关联文本分类[A];第二十五届中国数据库学术会议论文集(二)[C];2008年
9 胡俊;黄厚宽;;一种基于SVM的可视化文本分类的方法[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
10 朱慕华;陈文亮;朱靖波;;词聚类在文本分类中的应用[A];第二届全国学生计算语言学研讨会论文集[C];2004年
中国博士学位论文全文数据库 前10条
1 章舜仲;文本分类中词共现关系的研究及其应用[D];南京理工大学;2010年
2 冯国忠;文本分类中的贝叶斯特征选择[D];东北师范大学;2011年
3 郝立丽;汉语文本数据挖掘[D];吉林大学;2009年
4 尚文倩;文本分类及其相关技术研究[D];北京交通大学;2007年
5 郝立柱;汉语文本自动分类[D];吉林大学;2008年
6 欧灵;基于文本分类的本体匹配及其应用研究[D];重庆大学;2007年
7 孟佳娜;迁移学习在文本分类中的应用研究[D];大连理工大学;2011年
8 李智星;用于文本分类的简明语义分析技术研究[D];重庆大学;2011年
9 陈景年;选择性贝叶斯分类算法研究[D];北京交通大学;2008年
10 刘伍颖;面向垃圾信息过滤的主动多域学习文本分类方法研究[D];国防科学技术大学;2011年
中国硕士学位论文全文数据库 前10条
1 张利军;数据挖掘系统及其应用研究——用关联特征提高朴素贝叶斯文本分类器的性能[D];西北工业大学;2003年
2 周钦强;基于人工智能技术Naive Bayes文本自动分类系统研究[D];广东工业大学;2005年
3 汪传建;基于混合模型的文本分类的研究[D];东北大学;2005年
4 罗福星;增量学习朴素贝叶斯中文分类系统的研究[D];中南大学;2008年
5 王雪飞;词间相关性对文本分类的影响[D];南京理工大学;2007年
6 李笛;基于内容的垃圾邮件过滤方法研究[D];合肥工业大学;2008年
7 赵隽;基于相对特征的文本分类算法研究[D];东北师范大学;2008年
8 王雷;基于改进贝叶斯算法的文本分类器的研究及其在NERMS中的应用[D];吉林大学;2006年
9 蒋伟贞;基于类别的特征选择算法的文本分类系统[D];西南交通大学;2004年
10 董平;关联特征提取与贝叶斯网络的文本分类研究[D];华南理工大学;2011年
中国重要报纸全文数据库 前10条
1 泰 来;从板块中掘金[N];证券日报;2004年
2 张东风;企业集群与国家竞争力[N];中国企业报;2006年
3 魏直;从太湖看经济发展方式转变[N];无锡日报;2007年
4 周松林;防范股票与股指期货关联风险[N];中国证券报;2007年
5 邸新宇;紧扣民生主题 服务和谐社会[N];中国邮政报;2008年
6 中国科学院计算技术研究所 王 斌;内容为王[N];计算机世界;2004年
7 闵元;《水煮三国》之“大话”风格[N];中国商报;2004年
8 本报记者 姜楠;构建股票与股指期货跨市场稳定机制[N];证券日报;2007年
9 深交所投资者服务中心;投资者应避免七种异常交易行为[N];中国证券报;2007年
10 李侠;深交所提示投资者应避免七种异常交易行为[N];金融时报;2007年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978