收藏本站
《吉林大学》 2009年
收藏 | 手机打开
二维码
手机客户端打开本文

汉语文本数据挖掘

郝立丽  
【摘要】: 随着信息技术和计算机网络的飞速发展,各行各业每天产生并积累大量数据,从海量数据中发现有价值信息的数据挖掘已经成为迫切而富有挑战性的研究课题.本文从市长公开电话的实际需要出发,研究了以下几个方面内容: 众多市民在某一短暂的时间内对某一问题的集中投诉,称为热点问题,这类问题产生速度快、数量大,如不及时处理势必会产生严重的负面影响,甚至出现集体上访、阻塞交通、罢工等恶劣事件的发生.如何从海量文本数据中挖掘出热点问题?若采用文档聚类方法直接提取热点问题,会由于文档向量空间的维数过高导致聚类效果很差,因此本文将提取热点问题转化为先求热点词,然后通过热点词进行变量聚类,使反映同一主题的热点词汇聚在一起,画出聚类树,最后根据聚类树提取热点问题.本文论述了提取热点问题的具体实现方法,给出了此方法在市长公开电话数据上的实际应用结果分析,并与人工提取的结果进行了对比,结果表明本文提出的方法效果非常好,既准确又能节省大量的人力. 根据市长公开电话数据的季节性特点,设计了基于时序数据的朴素贝叶斯分类器.首先对分类类别与时间进行独立性检验,然后将与时间不独立的类别用核回归函数估计其在不同时间段上的先验概率,从而构建基于时序数据的朴素贝叶斯分类器.鉴于朴素贝叶斯条件独立性假设约束对分类性能的影响,又提出了一种加权朴素贝叶斯分类器,其加权参数作用于类别节点上,先用朴素贝叶斯分类器计算出各类别的后验概率后,通过二次加权调整后验概率,再完成分类,调整系数根据属于不同类别的投诉样本在不同时间内分布情况进行确定. 面对海量数据,本文提出了基于任务驱动的并行算法,并应用于决策树学习和贝叶斯多网学习中,取得了成功;将市长公开电话数据按月份分成12个数据子集,并在每一个数据子集上构建支持向量机,经实践,训练时间得到显著降低,能够完成白天分类夜间学习的需要,而且正确率也有很大提高.另外,还设计了基于二项检验的特征词提取和基于词频的特征词词组提取方法,再利用获得的决策树信息、贝叶斯多网信息,提出了一种基于规则的得分法文本分类器.
【学位授予单位】:吉林大学
【学位级别】:博士
【学位授予年份】:2009
【分类号】:TP311.13

免费申请
【相似文献】
中国期刊全文数据库 前10条
1 吴谋硕;;基于遗传算法的文本分类技术[J];电脑知识与技术;2011年22期
2 高金勇;徐朝军;冯奕竸;;基于迭代的TFIDF在短文本分类中的应用[J];情报理论与实践;2011年06期
3 郝剑;高茂庭;;基于模糊相似度的RPCL文本聚类算法[J];电脑知识与技术;2011年18期
4 唐云;罗俊松;;基于粗糙集和BP神经网络的文本分类研究[J];计算机仿真;2011年06期
5 胥桂仙;向春丞;翁彧;赵小兵;杨国胜;;基于栏目的藏文网页文本自动分类方法[J];中文信息学报;2011年04期
6 冯霞;闫冠男;李娟娟;;一种基于潜在语义索引的谱聚类方法研究[J];中国民航大学学报;2011年03期
7 张国梁;肖超锋;;基于SVM新闻文本分类的研究[J];电子技术;2011年08期
8 刘新生;厉锟;;基于BP神经网络的旅游突发事件文本分类系统的设计与实现[J];计算机与现代化;2011年07期
9 王斌;朴顺姬;邵华清;;基于粗糙集的KNN的WEB文本分类的研究[J];数字技术与应用;2011年08期
10 张春元;;基于条件随机场的文本分类模型[J];计算机技术与发展;2011年07期
中国重要会议论文全文数据库 前10条
1 杜长海;吉根林;;模糊聚类的最大树法在文本分类中的应用研究[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
2 陈克利;宗成庆;王霞;;基于大规模真实文本的平衡语料分析与文本分类方法[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
3 刘秉权;李博;孙林;王宝勋;刘远超;;标签特征和正文特征融合的SVM博客文本分类算法研究[A];第六届全国信息检索学术会议论文集[C];2010年
4 武洪萍;周国祥;;Web文本挖掘研究[A];计算机技术与应用进展·2007——全国第18届计算机技术与应用(CACIS)学术会议论文集[C];2007年
5 海丽且木·艾沙;维尼拉·木沙江;;Web文本分类及其维、哈、柯多文种信息检索中的应用研究[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
6 商炳章;白清源;;基于特征项权重改进的关联文本分类[A];第二十五届中国数据库学术会议论文集(二)[C];2008年
7 胡俊;黄厚宽;;一种基于SVM的可视化文本分类的方法[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
8 朱慕华;陈文亮;朱靖波;;词聚类在文本分类中的应用[A];第二届全国学生计算语言学研讨会论文集[C];2004年
9 王小华;陆蓓;张国煊;;文本自动分类的模糊方法[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
10 庞剑锋;程学旗;;反馈方法在文本分类系统中的应用[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
中国重要报纸全文数据库 前6条
1 中国科学院计算技术研究所 王 斌;内容为王[N];计算机世界;2004年
2 王培森;从Web挖到竞争情报[N];中国计算机报;2003年
3 高利华;传承陆游风骨 推进国际交流[N];人民日报海外版;2005年
4 林木树;反垃圾邮件有待新突破[N];人民邮电;2004年
5 希安;微软试水信息检索[N];经济日报;2004年
6 应晓敏 窦文华;技术架构[N];计算机世界;2003年
中国博士学位论文全文数据库 前10条
1 郝立丽;汉语文本数据挖掘[D];吉林大学;2009年
2 章舜仲;文本分类中词共现关系的研究及其应用[D];南京理工大学;2010年
3 孟佳娜;迁移学习在文本分类中的应用研究[D];大连理工大学;2011年
4 李智星;用于文本分类的简明语义分析技术研究[D];重庆大学;2011年
5 刘伍颖;面向垃圾信息过滤的主动多域学习文本分类方法研究[D];国防科学技术大学;2011年
6 宣照国;文本挖掘算法及其在知识管理中的应用研究[D];大连理工大学;2008年
7 胡佳妮;文本挖掘中若干关键问题的研究[D];北京邮电大学;2008年
8 徐森;文本聚类集成关键技术研究[D];哈尔滨工程大学;2010年
9 杨创新;基于机器学习的高性能中文文本分类研究[D];华南理工大学;2009年
10 熊云波;文本信息处理的若干关键技术研究[D];复旦大学;2006年
中国硕士学位论文全文数据库 前10条
1 张彪;文本分类中特征选择算法的分析与研究[D];中国科学技术大学;2010年
2 张保富;基于粗糙集的中文文本分类算法研究及应用[D];江苏大学;2010年
3 袁野;基于Vague集的网络舆情研究[D];西安电子科技大学;2010年
4 蒋健;文本分类中特征提取和特征加权方法研究[D];重庆大学;2010年
5 闫晨;KNN文本分类研究[D];燕山大学;2010年
6 苏小康;基于维基百科构建语义知识库及其在文本分类领域的应用研究[D];华中师范大学;2010年
7 李璇;基于坐标下降法的半监督学习算法及其在文本分类中的应用[D];华南理工大学;2010年
8 宋志理;基于LDA模型的文本分类研究[D];西安理工大学;2010年
9 郭志毅;基于EM算法的半监督文本分类方法研究[D];重庆邮电大学;2010年
10 郭明;基于文本分类技术的文本情感倾向性研究[D];郑州大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026