收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

可扩展的文本分类系统的核心API的设计与实现

翟静  
【摘要】: 数据挖掘是当前数据库学科理论研究的焦点与前沿,是一个多学科交叉领域,而文本挖掘与文本分类是数据挖掘极具应用前景的分支。中文的文本挖掘由于汉语语言本身的特点有其需要解决的特殊问题。 由于相关应用的需求,本文作者负责设计了一个Java平台上的文本挖掘系统TextMiner的核心模块,为高负荷的中文文本分类提供了合理的核心框架与大量可利用的实现方法。本文的贡献主要体现在: (1) 总结了TextMiner核心模块使用的面向对象的分析和设计方法,核心API编程的观念,将如何从设计的角度完善一个软件系统的可扩展性、灵活性和可插入性的方案进行了剖析,对面向对象的设计模式的实际应用做了实例性的阐述。 (2) 展示了将文本挖掘与分类应用的各个关键性过程进行合理软件建模的方法。所建立的统一的软件模型克服了现存类似系统缺乏数据重用性的弱点。由于TextMiner采用了基于XML的对象绑定于数据交换,中间数据的可重用性得到进一步提高。 (3) TextMiner为文本的合理预处理提出了“过滤器链”的方法,为训练数据的重用提出了“挖掘域”的概念,为大储存容量的对象的序列化和恢复提出了“半装配”与“反半装配”的实现方式,为特征选择过程提出了“包含式”和“排他式”两种宏观机制等等。 (4) (5) 这些富于开创性的设计和实现为类似的大数据处理的面向对象系 统提供了经验。 由于中文文本处理面对的文档个体数据量大、噪声多、语义歧义 充斥,几xtMiner选择了较为合理的数据结构,如哈希存储、双向 索引和适当的冗余存储方案用于处理时间性能的改善。本文对这 些解决方案做了概括的介绍。 本文展示了多种常用的文本预处理、特征选择与与分类方法的理 论基础与实现。在本文的结束部分,就实际应用对这些实现的选 择,文章作了定性的分析。 本文的组织如下:第一章简要介绍了数据挖掘这一新兴学科的理论基础与 应用范围,并介绍了作中文挖掘工作的必要性,特别是中文分类应用带来的挑 战。面对这一系列特殊困难和特殊问题,文章对Tex也石ner的概貌和它的核心 模块规划作了简介。第二章一方面从文本分类系统的宏观角度出发,介绍了 Tex廿吐iner的主体结构,一方面从软件设计的角度出发,举例介绍了Tex翻iner 核心模块所使用的主要设计模式和部分具独创性的解决方案。第三章细化到每 一个主要的软件模块,结合文本分类的部分理论阐述它们在飞x廿妊iner中的实 现。第四章则对各种具体实现的结合利用作了分析,对Tex廿以iner和其他系统 进行松藕合的可能性作了分析,并对未完成的工作进行了展望。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 贺仁杰;WINDOWS95任务栏提示区图标的DELPHI实现[J];电脑编程技巧与维护;1998年05期
2 王成耀;关系数据库通用表I/O API及应用模板的实现[J];计算机工程与应用;2001年06期
3 黄育芹;VFP多媒体技术的研究及应用[J];信息技术;2002年08期
4 金舒元,戴亚非,杜跃进;基于WEB的数据库发布技术[J];小型微型计算机系统;1998年07期
5 刘广聪,傅秀芬;Java组件机制——Java beans[J];通信世界;1998年03期
6 陈菁华,王学东,潘婷;Web数据库互连技术的比较[J];科技进步与对策;2000年08期
7 郭天杰,齐玉东;Windows 9x,NT和2000下的API拦截技术[J];计算机应用研究;2001年09期
8 朱霞,赵永强;应用API函数提高PowerBuilder程序的友好性[J];计算机系统应用;2001年05期
9 马晓晨;利用文件接口调用Delphi编写的API函数[J];承德石油高等专科学校学报;2002年03期
10 吕钊,李密;在VB下实现游戏控制器端口的数据通信[J];工业控制计算机;2002年06期
11 刘新华;在Visual C++中访问系统注册表[J];衡阳师范学院学报;2002年03期
12 胡还刚,龚晖;多缓冲技术的一种实现方法及其应用[J];计算机应用研究;2003年04期
13 阎红灿,刘自荣,刘凤春;VB环境下实现应用程序的系统托盘[J];河北理工学院学报;2003年04期
14 皮桥辉,管太阳,王越峰;在VB6.0环境下实现自动成柱状图[J];华东地质学院学报;2003年01期
15 苏财茂,韩荣德,梁榕辉;全六面体有限元网格数据结构及其API技术[J];湛江海洋大学学报;2003年01期
16 吕俊;Delphi环境下PC机与AT89C52通信的实现[J];现代电子技术;2003年13期
17 杜树杰;利用MCI对象控制多媒体设备[J];电脑编程技巧与维护;1997年11期
18 郝卫军,刘护群;Web服务器与数据库互连技术[J];计算机应用;1999年S1期
19 陈刚,陈志强,李国洪,孙东辉;Windows 9x串行通信程序设计[J];华北航天工业学院学报;2000年01期
20 柳长青;基于IMM的汉字检索技术的应用[J];宁夏大学学报(自然科学版);2001年03期
中国重要会议论文全文数据库 前10条
1 ;Rice API5 is Involved in Tapetum Degeneration and Pollen Development[A];第十二届全国植物基因组学大会论文集[C];2011年
2 陈兵;高磊;;基于MAYA API的毛发系统实现[A];2011中国电影电视技术学会影视技术文集[C];2011年
3 张薇;沈晓健;李东平;;基于Google API的地震信息地图发布系统[A];“资源保障 环境安全——地质工作使命”华东六省一市地学科技论坛文集[C];2011年
4 陈云超;马兆丰;;基于API函数拦截技术的跨进程攻击防护研究[A];2011年通信与信息技术新进展——第八届中国通信学会学术年会论文集[C];2011年
5 陈怡;魏红明;;武汉市创建环保模范城市环境质量指标空气污染指数(API)达标的可行性分析[A];2010中国环境科学学会学术年会论文集(第一卷)[C];2010年
6 杨国峰;谢惊春;冯振文;;API柴油机油CJ-4与CI-4规格的台架对比关系[A];中国汽车工程学会燃料与润滑油分会第十四届年会论文集[C];2010年
7 方翔;吉国力;;Windows环境下数字图象的显示[A];2001中国控制与决策学术年会论文集[C];2001年
8 张晓丽;李鑫;郭智春;;基于ActiveX的钣金参数化建模研究[A];中国计量协会冶金分会2007年会论文集[C];2007年
9 马丽云;曹磊;李杨;刘新春;;乌鲁木齐市不同区域pm_(10)的监测与分析[A];第26届中国气象学会年会第三届气象综合探测技术研讨会分会场论文集[C];2009年
10 王有飞;刘凯;朱二辉;冯莉;张卫东;;渐开线圆柱齿轮参数化建模及运动仿真[A];2005年中国机械工程学会年会论文集[C];2005年
中国博士学位论文全文数据库 前10条
1 曾惠珠;不同种类国际油价之发展趋势[D];西南财经大学;2008年
2 徐伟来;hTERT基因在骨髓增生异常综合征中的表达及其在三氧化二砷诱导MUTZ-1细胞凋亡中的作用研究[D];浙江大学;2005年
3 石林;GPU通用计算虚拟化方法研究[D];湖南大学;2012年
4 戚晓利;拟南芥花异常株系AFDL的花发育及基因表达分析[D];东北林业大学;2010年
5 章程;基于机器学习和程序分析相结合的程序调试技术研究[D];上海交通大学;2013年
6 曾颖;基于抽象解释的软件保护相关问题研究[D];解放军信息工程大学;2011年
7 代栋;云计算基础软件平台的研究和实践[D];中国科学技术大学;2013年
8 刘铭;计算机病毒传播模型及防控理论研究[D];华中科技大学;2009年
9 刘云新;面向新一代移动计算平台的系统虚拟化研究与应用[D];上海交通大学;2011年
10 史建琦;面向目标代码的实时操作系统形式化验证方法研究[D];华东师范大学;2012年
中国硕士学位论文全文数据库 前10条
1 韩旭芳;基于开放API的电子商务个性化服务推荐研究[D];石家庄铁道大学;2011年
2 李文强;JCVM API的分析与设计[D];广东工业大学;2013年
3 宋红军;基于Open API实现信息资源共享的应用研究[D];西北大学;2013年
4 左源;电子商务API开放系统的设计与实现[D];华中科技大学;2013年
5 陈博;3G数据业务拨测系统公共支撑库及API接口设计与实现[D];北京邮电大学;2011年
6 张艳艳;标准化的电子病历API设计与实现[D];华南理工大学;2013年
7 雷刚;基于OSSIE的波形开发及API设计实现[D];电子科技大学;2011年
8 高青娟;一种关键字驱动的Java API自动测试框架[D];太原科技大学;2011年
9 刘菲;基于API Hook技术的Bot检测方法的研究与实现[D];东北大学;2009年
10 邵向阳;基于HOOK API技术的进程监控系统的设计与实现[D];郑州大学;2011年
中国重要报纸全文数据库 前10条
1 本报记者 李纪澜;河北元成实业有限公司顺利通过API专家审核[N];现代物流报;2010年
2 中国医保商会 郭晓丹 谈圣采;全球API格局因需求生变[N];医药经济报;2010年
3 杨跃萍;中南装备通过美国API审核[N];中国企业报;2009年
4 爱立信(中国)通信有限公司;电信API轻量级模式 重量级功能[N];通信产业报;2010年
5 周楠;API系统推广一周年助旅客通关提速效果显著[N];中国国门时报;2009年
6 记者 陶文忠 能讯员 郭式新 王云;两项产品通过API认证[N];中国石油报;2001年
7 本报记者 那罡;API:以开放为名的封锁运动[N];中国计算机报;2010年
8 中国医药保健品进出口商会 荣嫡;日本API注册常见问题解答[N];中国医药报;2009年
9 记者 周升友;镇江辅机厂海洋吊机生产通过API认证书[N];中国船舶报;2010年
10 秦长毅;非API油井管评价技术发展与标准化[N];世界金属导报;2010年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978