收藏本站
《东北大学》 2005年
收藏 | 手机打开
二维码
手机客户端打开本文

基于混合模型的文本分类的研究

汪传建  
【摘要】:随着互联网技术的飞速发展,网上的资源呈指数增长,人工处理这些海量信息代价非常高昂,因此如何高效地组织和管理这些资源成为近些年来的研究热点。一种自动组织和管理知识的技术——文本分类,作为实现这一目标的关键技术之一,得到了研究人员的广泛关注。 传统的基于概率的文本分类,如朴素贝叶斯方法,它们通常假设类模型服从单一分布,在估计类模型时往往需要大量高质量的样本才能准确反映类特征。实际上,人们在写作过程中会受到多方面因素影响,如所要描写的主题、相关背景、写作常识、文章风格、写作习惯、词汇上下文语境等等,即一个类的分布特征是受到多因素影响的。如果只用单一的分布模型来拟合类的分布特征是不准确和不完整的。 针对于此,本文提出了一种基于主题和通用知识的类模型,利用期望最大化方法(EM)估计模型参数。实验证明:基于混合模型的分类算法的整体性能明显优于朴素贝叶斯方法,是一种比较稳定的算法,尤其是在小训练样本情况下,混合模型分类算法表现突出。另外,尽管估计混合模型时增加了分类模型的复杂度,但实验表明,由于EM算法通常在3次迭代后基本收敛,对算法的整体效率影响不大。 本文还论述了我们提出的基于混合模型的文本分类器的两种用途。(1)建立用户模型:在我们的一个个性化推荐原型系统SmartWeb中,用户模型是其中的一个重要模块,好的用户模型可以大大改善其推荐结果:(2)聚焦爬虫:文本分类器是聚焦爬虫的一个重要构件。本文提出应用基于混合模型的文本分类器以满足上述两种需求。
【学位授予单位】:东北大学
【学位级别】:硕士
【学位授予年份】:2005
【分类号】:TP391.1

【相似文献】
中国期刊全文数据库 前10条
1 张韬;胡旻;;互联网Web数据挖掘模型设计与技术实现[J];卫星与网络;2010年10期
2 王艳;;数据隐私保护技术综述[J];知识经济;2011年14期
3 杜垒;王飞;;数据挖掘在学生管理中的应用[J];科技信息;2011年18期
4 胡锟;杨路明;;浅谈移动CRM客户价值细分[J];电脑知识与技术;2011年13期
5 李想;;PLE编码在关联数据挖掘中的应用[J];电脑知识与技术;2011年15期
6 张博;张超伟;;中药方剂数据挖掘中的数据预处理研究[J];电脑知识与技术;2011年17期
7 杜英;;关联规则挖掘研究[J];知识经济;2011年14期
8 李炳燃;张金哲;;数据挖掘在设备故障诊断专家系统知识获取中的应用[J];科技信息;2011年20期
9 李丹实;;使用SQL Server2005构建数据挖掘应用程序[J];煤炭技术;2011年07期
10 张红艳;都娟;;关联规则中Apriori算法的应用[J];数字技术与应用;2011年08期
中国重要会议论文全文数据库 前10条
1 陈克利;宗成庆;王霞;;基于大规模真实文本的平衡语料分析与文本分类方法[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
2 杜长海;吉根林;;模糊聚类的最大树法在文本分类中的应用研究[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
3 刘秉权;李博;孙林;王宝勋;刘远超;;标签特征和正文特征融合的SVM博客文本分类算法研究[A];第六届全国信息检索学术会议论文集[C];2010年
4 郭学军;陈晓云;;粗集方法在数据挖掘中的应用[A];第十六届全国数据库学术会议论文集[C];1999年
5 徐慧;;基于Web的文献数据挖掘[A];第十七届全国数据库学术会议论文集(技术报告篇)[C];2000年
6 孙迎;;医院信息的数据挖掘与方法研究[A];中华医学会第十次全国医学信息学术会议论文汇编[C];2004年
7 薛晓东;李海玲;;数据挖掘的客户关系管理应用[A];科技、工程与经济社会协调发展——河南省第四届青年学术年会论文集(下册)[C];2004年
8 郭建文;黄燕;印鉴;杨小波;梁兆辉;;建立中风病“阴阳类证”辨证规范的数据挖掘研究[A];中华医学会第十三次全国神经病学学术会议论文汇编[C];2010年
9 薛鲁华;张楠;;聚类分析在Web数据挖掘中的应用[A];北京市第十三次统计科学讨论会论文选编[C];2006年
10 朱扬勇;黄超;;基于多维模型的交互式数据挖掘框架[A];第二十届全国数据库学术会议论文集(技术报告篇)[C];2003年
中国重要报纸全文数据库 前10条
1 早报记者 胡孝敏;跨国企业掘金中国“数据挖掘”市场[N];东方早报;2005年
2 吴勇毅;软件选型:数据挖掘是重点[N];中国冶金报;2009年
3 刘光强;靠数据挖掘抓住客户的心[N];中国计算机报;2009年
4 本报记者 郭白岩;大众点评网向数据挖掘要收益[N];中国经营报;2011年
5 赵骏飞;数据挖掘在金融行业的应用[N];中国保险报;2011年
6 本报记者 黎宇文;博时基金王德英: 数据挖掘促进基金精细化管理[N];中国证券报;2011年
7 本报记者褚宁;数据挖掘如“挖金”[N];解放日报;2002年
8 吴辅世;打破数据挖掘的5个神话[N];中国计算机报;2003年
9 ;数据挖掘:如何挖出效益?[N];中国计算机报;2004年
10 ;数据挖掘流程[N];人民邮电;2001年
中国博士学位论文全文数据库 前10条
1 封毅;中医药知识发现可靠性研究[D];浙江大学;2008年
2 孙丽;工艺知识管理及其若干关键技术研究[D];大连交通大学;2005年
3 胡志坤;复杂有色金属熔炼过程操作模式智能优化方法研究[D];中南大学;2005年
4 刘革平;基于数据挖掘的远程学习评价研究[D];西南师范大学;2005年
5 刘寨华;基于临床数据分析的病毒性心肌炎证候演变规律研究[D];黑龙江中医药大学;2006年
6 王川;基因芯片数据管理及数据挖掘[D];中国科学院研究生院(上海生命科学研究院);2004年
7 王涛;挖掘序列模式和结构化模式的精简集[D];华中科技大学;2006年
8 郭斯羽;动态数据中的数据挖掘研究[D];浙江大学;2002年
9 李旭升;贝叶斯网络分类模型研究及其在信用评估中的应用[D];西南交通大学;2007年
10 刘东升;面向连锁零售企业的客户关系管理模型(R-CRM)研究[D];浙江工商大学;2008年
中国硕士学位论文全文数据库 前10条
1 汪传建;基于混合模型的文本分类的研究[D];东北大学;2005年
2 赵博;一种基于关键向量的文本分类模型的研究[D];哈尔滨理工大学;2008年
3 周振龙;支持向量机理论在文本分类中的应用研究[D];兰州理工大学;2007年
4 王生新;基于支持向量机的文本分类研究[D];哈尔滨工程大学;2008年
5 廖赛恩;养生方数据挖掘分析系统的研制[D];湖南中医药大学;2010年
6 李坤然;数据挖掘在股市趋势预测的应用研究[D];中南林业科技大学;2008年
7 郑宏;数据挖掘可视化技术的研究与实现[D];西安电子科技大学;2010年
8 杜金刚;数据挖掘在电信客户关系管理及数据业务营销中的应用[D];北京邮电大学;2010年
9 徐路;基于决策树的数据挖掘算法的研究及其在实际中的应用[D];电子科技大学;2009年
10 梁小鸥;数据挖掘在高职教学管理中的应用[D];华南理工大学;2011年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026