收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

可扩展的文本分类系统的核心API的设计与实现

翟静  
【摘要】: 数据挖掘是当前数据库学科理论研究的焦点与前沿,是一个多学科交叉领域,而文本挖掘与文本分类是数据挖掘极具应用前景的分支。中文的文本挖掘由于汉语语言本身的特点有其需要解决的特殊问题。 由于相关应用的需求,本文作者负责设计了一个Java平台上的文本挖掘系统TextMiner的核心模块,为高负荷的中文文本分类提供了合理的核心框架与大量可利用的实现方法。本文的贡献主要体现在: (1) 总结了TextMiner核心模块使用的面向对象的分析和设计方法,核心API编程的观念,将如何从设计的角度完善一个软件系统的可扩展性、灵活性和可插入性的方案进行了剖析,对面向对象的设计模式的实际应用做了实例性的阐述。 (2) 展示了将文本挖掘与分类应用的各个关键性过程进行合理软件建模的方法。所建立的统一的软件模型克服了现存类似系统缺乏数据重用性的弱点。由于TextMiner采用了基于XML的对象绑定于数据交换,中间数据的可重用性得到进一步提高。 (3) TextMiner为文本的合理预处理提出了“过滤器链”的方法,为训练数据的重用提出了“挖掘域”的概念,为大储存容量的对象的序列化和恢复提出了“半装配”与“反半装配”的实现方式,为特征选择过程提出了“包含式”和“排他式”两种宏观机制等等。 (4) (5) 这些富于开创性的设计和实现为类似的大数据处理的面向对象系 统提供了经验。 由于中文文本处理面对的文档个体数据量大、噪声多、语义歧义 充斥,几xtMiner选择了较为合理的数据结构,如哈希存储、双向 索引和适当的冗余存储方案用于处理时间性能的改善。本文对这 些解决方案做了概括的介绍。 本文展示了多种常用的文本预处理、特征选择与与分类方法的理 论基础与实现。在本文的结束部分,就实际应用对这些实现的选 择,文章作了定性的分析。 本文的组织如下:第一章简要介绍了数据挖掘这一新兴学科的理论基础与 应用范围,并介绍了作中文挖掘工作的必要性,特别是中文分类应用带来的挑 战。面对这一系列特殊困难和特殊问题,文章对Tex也石ner的概貌和它的核心 模块规划作了简介。第二章一方面从文本分类系统的宏观角度出发,介绍了 Tex廿吐iner的主体结构,一方面从软件设计的角度出发,举例介绍了Tex翻iner 核心模块所使用的主要设计模式和部分具独创性的解决方案。第三章细化到每 一个主要的软件模块,结合文本分类的部分理论阐述它们在飞x廿妊iner中的实 现。第四章则对各种具体实现的结合利用作了分析,对Tex廿以iner和其他系统 进行松藕合的可能性作了分析,并对未完成的工作进行了展望。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 吴谋硕;;基于遗传算法的文本分类技术[J];电脑知识与技术;2011年22期
2 高金勇;徐朝军;冯奕竸;;基于迭代的TFIDF在短文本分类中的应用[J];情报理论与实践;2011年06期
3 胥桂仙;向春丞;翁彧;赵小兵;杨国胜;;基于栏目的藏文网页文本自动分类方法[J];中文信息学报;2011年04期
4 唐云;罗俊松;;基于粗糙集和BP神经网络的文本分类研究[J];计算机仿真;2011年06期
5 张国梁;肖超锋;;基于SVM新闻文本分类的研究[J];电子技术;2011年08期
6 刘新生;厉锟;;基于BP神经网络的旅游突发事件文本分类系统的设计与实现[J];计算机与现代化;2011年07期
7 王斌;朴顺姬;邵华清;;基于粗糙集的KNN的WEB文本分类的研究[J];数字技术与应用;2011年08期
8 卢志翔;蒙丽莉;;文本分类中特征项权重算法的改进[J];柳州师专学报;2011年04期
9 甄志龙;曾晓勤;韩立新;;文本分类中基于图模型的特征提取方法[J];情报科学;2011年08期
10 奉国和;;文本分类性能评价研究[J];情报杂志;2011年08期
11 奉国和;郑伟;;文本分类特征降维研究综述[J];图书情报工作;2011年09期
12 张保富;施化吉;;一种基于粗糙集文本自动分类的改进算法[J];计算机工程与应用;2011年24期
13 张春元;;基于条件随机场的文本分类模型[J];计算机技术与发展;2011年07期
14 王斌;邵华清;刘振;;基于优化类中心分类算法的文本分类研究[J];科技传播;2011年18期
15 周国强;崔荣一;;基于朴素贝叶斯分类器的朝鲜语文本分类的研究[J];中文信息学报;2011年04期
16 胡泽文;王效岳;白如江;;国内外文本分类研究计量分析与综述[J];图书情报工作;2011年06期
17 冯霞;刘志辉;田继存;;基于假设检验的文本分类特征选择[J];信息与控制;2011年03期
18 杨金柱;刘金岭;;基于词语上下文的文本分类研究[J];计算机技术与发展;2011年08期
19 赖英旭;许昕;杨震;;基于尾项加权的自适应文本分类方法研究[J];中国科学技术大学学报;2011年07期
20 刘辉;应培培;;一种改进的KNN文本分类算法[J];信息安全与技术;2011年07期
中国重要会议论文全文数据库 前10条
1 陈克利;宗成庆;王霞;;基于大规模真实文本的平衡语料分析与文本分类方法[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
2 杜长海;吉根林;;模糊聚类的最大树法在文本分类中的应用研究[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
3 刘秉权;李博;孙林;王宝勋;刘远超;;标签特征和正文特征融合的SVM博客文本分类算法研究[A];第六届全国信息检索学术会议论文集[C];2010年
4 海丽且木·艾沙;维尼拉·木沙江;;Web文本分类及其维、哈、柯多文种信息检索中的应用研究[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
5 商炳章;白清源;;基于特征项权重改进的关联文本分类[A];第二十五届中国数据库学术会议论文集(二)[C];2008年
6 胡俊;黄厚宽;;一种基于SVM的可视化文本分类的方法[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
7 朱慕华;陈文亮;朱靖波;;词聚类在文本分类中的应用[A];第二届全国学生计算语言学研讨会论文集[C];2004年
8 王小华;陆蓓;张国煊;;文本自动分类的模糊方法[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
9 庞剑锋;程学旗;;反馈方法在文本分类系统中的应用[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
10 包剑;冀明;冯军;;基于模糊支持向量机的文本分类[A];中国运筹学会模糊信息与模糊工程分会第五届学术年会论文集[C];2010年
中国博士学位论文全文数据库 前10条
1 章舜仲;文本分类中词共现关系的研究及其应用[D];南京理工大学;2010年
2 王博;文本分类中特征选择技术的研究[D];国防科学技术大学;2009年
3 孟佳娜;迁移学习在文本分类中的应用研究[D];大连理工大学;2011年
4 李智星;用于文本分类的简明语义分析技术研究[D];重庆大学;2011年
5 刘伍颖;面向垃圾信息过滤的主动多域学习文本分类方法研究[D];国防科学技术大学;2011年
6 冯国忠;文本分类中的贝叶斯特征选择[D];东北师范大学;2011年
7 程军;基于统计的文本分类技术研究[D];中国科学院研究生院(文献情报中心);2003年
8 封毅;中医药知识发现可靠性研究[D];浙江大学;2008年
9 杜卫锋;粗糙集理论在中文文本分类中的应用[D];西南交通大学;2006年
10 郝立丽;汉语文本数据挖掘[D];吉林大学;2009年
中国硕士学位论文全文数据库 前10条
1 张彪;文本分类中特征选择算法的分析与研究[D];中国科学技术大学;2010年
2 叶磊;电子公告系统环境中的数据挖掘技术设计与实现[D];华东交通大学;2009年
3 张保富;基于粗糙集的中文文本分类算法研究及应用[D];江苏大学;2010年
4 蒋健;文本分类中特征提取和特征加权方法研究[D];重庆大学;2010年
5 闫晨;KNN文本分类研究[D];燕山大学;2010年
6 苏小康;基于维基百科构建语义知识库及其在文本分类领域的应用研究[D];华中师范大学;2010年
7 李璇;基于坐标下降法的半监督学习算法及其在文本分类中的应用[D];华南理工大学;2010年
8 宋志理;基于LDA模型的文本分类研究[D];西安理工大学;2010年
9 郭志毅;基于EM算法的半监督文本分类方法研究[D];重庆邮电大学;2010年
10 吕小勇;多标签文本分类算法研究[D];山西财经大学;2010年
中国重要报纸全文数据库 前10条
1 本报记者 郭白岩;大众点评网向数据挖掘要收益[N];中国经营报;2011年
2 早报记者 胡孝敏;跨国企业掘金中国“数据挖掘”市场[N];东方早报;2005年
3 本报记者褚宁;数据挖掘如“挖金”[N];解放日报;2002年
4 吴辅世;打破数据挖掘的5个神话[N];中国计算机报;2003年
5 ;数据挖掘流程[N];人民邮电;2001年
6 赵纪元;数据挖掘在CRM中的应用[N];人民邮电;2001年
7 吴勇毅;软件选型:数据挖掘是重点[N];中国冶金报;2009年
8 黄献东;鞍钢冷轧厂实施数据挖掘系统项目[N];中国冶金报;2011年
9 刘光强;靠数据挖掘抓住客户的心[N];中国计算机报;2009年
10 赵骏飞;数据挖掘在金融行业的应用[N];中国保险报;2011年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978