收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

汉语文本自动分类

郝立柱  
【摘要】: 文本自动分类作为自动信息管理的一项核心技术,其研究一直受到高度关注.本文从市长公开电话文本分类具体的实际问题出发,在真实数据集上展开研究,研究主要包括以下几个方面: 为了能对市长公开电话的海量文本数据进行全面的统计分析,研发了信息综合管理系统控制平台.该平台是集开发与应用为一体的大型工具软件,内含笔者设计的独立的平台语言和大量的通用化功能模块,其代码的高度可重用性避免了大量低水平重复开发造成的巨大人力物力资源的浪费,它的研发成功为后续的众多统计分析提供了便捷的环境,也是后续所有工作能够顺利完成的根本保障. 本文介绍了平台构建的原理及关键性技术,在平台之上建立了单位分类机和行业分类机、统计分析与预警预报系统.在文本预处理阶段提出了提取未登录词及套话的一种方法,在特征提取方面提出了一个基于加权的卡方统计量提取停用词的方法,删除停用词后的分类器效率有了显著提高.虽然仅删除了500停用词,但由于停用词占训练集总词量的43.7%,因而数据噪音得到大幅度降低.在低频词方面提出了针对每一类按一定比例删除低频词,分类效果增加了一个百分点,如70%,低频词由13909降为3445,向量空间维数显著降低. 在分类器构建方面,针对市长公开电话的实际需要,笔者认为朴素贝叶斯分类器有其自己的特点,算法简单且速度快,更适合要求实时的分类数据,但正确率较低,在项目早期的实际测试中,通过对其进行改进,提出了一种基于多重假设检验的特征加权朴素贝叶斯分类器,其优点是在正确率有所提高的情况下速度更快,缺点是参数选择较为困难. 鉴于实际数据的类别数目较多,单层分类提高性能较为困难,基于地域信息提出了一种文本分类层次结构模型,和特征加权朴素贝叶斯分类器相比较,该模型构建更简单、实用,同时误判率更低.考虑到工单派发的实际需要,将几个分类器有机组合提出了一种基于分类委员会的文本分类模型构成单位自动分类机,它极大地减轻了受理处和办理处的工作压力,同时使投诉受理量有了大幅度的增加,其直接派发率高达80.76%,派发准确率81.04%.


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 郑海,林鸿飞;基于段落匹配的文本分类机制[J];计算机工程与应用;2004年28期
2 王丁,运海红,张辉;文本自动分类系统的研究与实现[J];信息技术;2005年03期
3 杜志文;曾文华;;网格计算在文本分类中的应用[J];微电子学与计算机;2006年S1期
4 崔彩霞;王素格;;基于粗集的支持向量机文本分类方法研究[J];科技广场;2006年08期
5 马忠宝;刘冠蓉;;基于支持向量机的中文文本分类模型研究[J];计算机技术与发展;2006年11期
6 张燕;寒枫;楚红涛;;文本挖掘简述[J];中国电力教育;2006年S3期
7 祝晓鲁;白振兴;贾海燕;;自动文本分类技术研究[J];现代电子技术;2007年03期
8 张桂芸;刘洋;王元元;;基于模糊认知图的文本分类推理算法[J];计算机工程与应用;2007年12期
9 陈莲娜;姚伏天;;用于文本分类的多核SVM算法研究[J];计算机工程;2007年09期
10 王倩倩;段震;张燕平;;基于交叉覆盖算法的文本分类[J];计算机技术与发展;2007年06期
11 董梅;胡学钢;;基于多特征选择的中文文本分类[J];计算机技术与发展;2007年07期
12 巩知乐;张德贤;;文本挖掘理论概述[J];福建电脑;2008年09期
13 张春红;;文本分类技术应用于学科导航分类的可行性探讨[J];情报科学;2009年07期
14 陶兰,申军霞;文本信息自动分类系统ITC98(Ⅰ)──ITC98总体结构与编码子系统[J];中国农业大学学报;1999年04期
15 李钝,梁吉业;利用聚类和粗糙集进行文本分类研究[J];计算机工程与应用;2003年07期
16 韩家新,何华灿;SVMDT分类器及其在文本分类中的应用研究[J];计算机应用研究;2004年01期
17 王天江,叶卫国,卢正鼎,李永平;LSI和kNN相结合的文本分类模型研究[J];华中科技大学学报(自然科学版);2004年04期
18 卢娇丽,郑家恒;基于粗糙集的文本分类方法研究[J];中文信息学报;2005年02期
19 陈文亮,朱慕华,朱靖波,姚天顺;基于Bootstrapping的文本分类模型[J];中文信息学报;2005年02期
20 包学超 ,孙强 ,李生红;隐性语义的SVM文本分类模型[J];信息安全与通信保密;2005年05期
中国重要会议论文全文数据库 前10条
1 陈克利;宗成庆;王霞;;基于大规模真实文本的平衡语料分析与文本分类方法[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
2 杜长海;吉根林;;模糊聚类的最大树法在文本分类中的应用研究[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
3 刘秉权;李博;孙林;王宝勋;刘远超;;标签特征和正文特征融合的SVM博客文本分类算法研究[A];第六届全国信息检索学术会议论文集[C];2010年
4 海丽且木·艾沙;维尼拉·木沙江;;Web文本分类及其维、哈、柯多文种信息检索中的应用研究[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
5 商炳章;白清源;;基于特征项权重改进的关联文本分类[A];第二十五届中国数据库学术会议论文集(二)[C];2008年
6 胡俊;黄厚宽;;一种基于SVM的可视化文本分类的方法[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
7 朱慕华;陈文亮;朱靖波;;词聚类在文本分类中的应用[A];第二届全国学生计算语言学研讨会论文集[C];2004年
8 王小华;陆蓓;张国煊;;文本自动分类的模糊方法[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
9 庞剑锋;程学旗;;反馈方法在文本分类系统中的应用[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
10 贾会强;刘晓丽;于洪志;;基于词性特征提取的藏文文本分类方法研究[A];CCF NCSC 2011——第二届中国计算机学会服务计算学术会议论文集[C];2011年
中国博士学位论文全文数据库 前10条
1 郝立柱;汉语文本自动分类[D];吉林大学;2008年
2 郝立丽;汉语文本数据挖掘[D];吉林大学;2009年
3 章舜仲;文本分类中词共现关系的研究及其应用[D];南京理工大学;2010年
4 孟佳娜;迁移学习在文本分类中的应用研究[D];大连理工大学;2011年
5 李智星;用于文本分类的简明语义分析技术研究[D];重庆大学;2011年
6 刘伍颖;面向垃圾信息过滤的主动多域学习文本分类方法研究[D];国防科学技术大学;2011年
7 王博;文本分类中特征选择技术的研究[D];国防科学技术大学;2009年
8 冯国忠;文本分类中的贝叶斯特征选择[D];东北师范大学;2011年
9 平源;基于支持向量机的聚类及文本分类研究[D];北京邮电大学;2012年
10 程军;基于统计的文本分类技术研究[D];中国科学院研究生院(文献情报中心);2003年
中国硕士学位论文全文数据库 前10条
1 张晓明;市长公开电话汉语文本标签的确立[D];黑龙江大学;2010年
2 张彪;文本分类中特征选择算法的分析与研究[D];中国科学技术大学;2010年
3 张保富;基于粗糙集的中文文本分类算法研究及应用[D];江苏大学;2010年
4 蒋健;文本分类中特征提取和特征加权方法研究[D];重庆大学;2010年
5 闫晨;KNN文本分类研究[D];燕山大学;2010年
6 苏小康;基于维基百科构建语义知识库及其在文本分类领域的应用研究[D];华中师范大学;2010年
7 李璇;基于坐标下降法的半监督学习算法及其在文本分类中的应用[D];华南理工大学;2010年
8 宋志理;基于LDA模型的文本分类研究[D];西安理工大学;2010年
9 郭志毅;基于EM算法的半监督文本分类方法研究[D];重庆邮电大学;2010年
10 郭明;基于文本分类技术的文本情感倾向性研究[D];郑州大学;2010年
中国重要报纸全文数据库 前10条
1 记者 申文利;赵晓君接听市长公开电话[N];长白山日报;2008年
2 张扬;群众冷暖挂心间[N];长白山日报;2008年
3 张苏平 何嫄 秋冰;市长公开电话一年受理8700件[N];常州日报;2009年
4 本报记者 康与民;真办事 办真事[N];莱芜日报;2009年
5 首席记者 高扬;明确通报制度 加强督办管理[N];牡丹江日报;2010年
6 记者 周华;锐意创新推进工作再上新台阶[N];长白山日报;2010年
7 本报记者 康与民 见习记者 孔浩;初寒虽料峭 热线暖民心[N];莱芜日报;2010年
8 本报记者 张智杰 吴珊 通讯员 周永贞;市长公开电话获群众好评[N];湘潭日报;2007年
9 记者 初霞;12345,有事找政府[N];哈尔滨日报;2008年
10 本报记者 陈鹏;千方百计妥善解决群众“三最”问题[N];郴州日报;2009年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978