收藏本站
《山东科技大学》 2010年
收藏 | 手机打开
二维码
手机客户端打开本文

中文文本分类技术研究

吕万里  
【摘要】:随着信息技术的飞速发展及互联网的普及,信息资源急剧增加,如何对海量的信息资源进行统一有效的组织和利用,并为用户快速、全面、准确的检索提供方便成为亟待解决的问题。文本分类作为一种重要的信息处理技术,为信息资源的快速、全面、准确的组织和利用提供了解决方案,为用户高效的检索提供了保障,逐渐成为一个日益重要的研究领域。 本文对中文文本分类的关键技术进行了研究,包括中文分词、文本表示、特征选择及权重计算、文本分类算法、分类器性能评估等。然后,针对文本分类过程中两个核心问题,特征选择及权重计算算法和文本分类算法,进行了深入的研究。特征选择及权重计算是指从原始特征集中选择最能代表文本内容的词条并赋予一定的权重,从而去除影响分类效果的噪音词,提高文本分类的速度和准确度;而分类算法的好坏将会直接影响分类的效果。 本文有两个创新点:在特征权重计算方面,本文分析了经典的特征权重计算方法TFIDF存在的两个固有缺陷:数据集偏斜问题和特征项类间、类内分布差异问题。然后针对类间、类内分布差异问题,将特征选择算法互信息引入到权重计算上以解决特征项类间分布差异问题,并使用类内分布差异修正因子弥补原公式在类内分布差异上的缺陷;在分类算法设计方面,本文在前人研究成果的基础上设计了SE-Bagging KNN算法,该算法将集成学习中选择性集成的思想引入到中文文本分类中,根据KNN算法对属性敏感的特点,使用可重复抽样技术生成新的训练集,并使用这些训练集训练KNN弱分类器,然后采用变相似度聚类技术选取差异大且分类效果好的分类器进行集成对新文本进行分类。 在.Net平台上,综合使用WordSeg分词组件和Weka数据挖掘包开发了中文文本分类程序,通过实验证明,相比传统的分类算法,本文提出的权重计算方法和SE-BaggingKNN文本分类算法在中文文本分类效果上有明显的改进。
【学位授予单位】:山东科技大学
【学位级别】:硕士
【学位授予年份】:2010
【分类号】:TP391.1

【参考文献】
中国期刊全文数据库 前10条
1 刘红芝;;中文分词技术的研究[J];电脑开发与应用;2010年03期
2 李晓黎,刘继敏,史忠植;概念推理网及其在文本分类中的应用[J];计算机研究与发展;2000年09期
3 姜远;周志华;;基于词频分类器集成的文本分类方法[J];计算机研究与发展;2006年10期
4 湛燕,陈昊,袁方,王熙照;基于中文文本分类的分词方法研究[J];计算机工程与应用;2003年23期
5 张翔;周明全;耿国华;侯凡;;Bagging算法在中文文本分类中的应用[J];计算机工程与应用;2009年05期
6 刘丽珍,宋瀚涛;文本分类中的特征选取[J];计算机工程;2004年04期
7 张玉芳;彭时名;吕佳;;基于文本分类TFIDF方法的改进与应用[J];计算机工程;2006年19期
8 陈莲娜;姚伏天;;用于文本分类的多核SVM算法研究[J];计算机工程;2007年09期
9 卜东波,白硕,李国杰;聚类/分类中的粒度原理[J];计算机学报;2002年08期
10 王怡,盖杰,武港山,王继成;基于潜在语义分析的中文文本层次分类技术[J];计算机应用研究;2004年08期
中国博士学位论文全文数据库 前1条
1 李荣陆;文本分类及其相关技术研究[D];复旦大学;2005年
中国硕士学位论文全文数据库 前5条
1 庞剑锋;基于向量空间模型的自反馈的文本分类系统的研究与实现[D];中国科学院研究生院(计算技术研究所);2001年
2 王新丽;中文文本分类系统的研究与实现[D];天津大学;2007年
3 陈文博;中文文本自动分类系统的研究与实现[D];吉林大学;2008年
4 张治国;中文文本分类反馈学习研究[D];西安电子科技大学;2009年
5 刘依璐;基于机器学习的中文文本分类方法研究[D];西安电子科技大学;2009年
【共引文献】
中国期刊全文数据库 前10条
1 潘希姣;;多子群粒子群集成神经网络[J];安徽建筑工业学院学报(自然科学版);2007年02期
2 李亭;杨敬锋;彭晓琴;陈志民;;基于最大似然法集成的黄曲条跳甲预警模型[J];安徽农业科学;2008年25期
3 时雷;虎晓红;席磊;段其国;;集成学习技术在农业中的应用[J];安徽农业科学;2008年26期
4 时雷;席磊;虎晓红;段其国;;基于支持向量机的农业数据分类研究[J];安徽农业科学;2009年05期
5 时雷;虎晓红;席磊;;基于Naive Bayes算法的大豆病害诊断研究[J];安徽农业科学;2009年11期
6 刘晓志;黄厚宽;尚文倩;;带专业词库的特征选择[J];北京交通大学学报;2006年02期
7 焦健;瞿有利;;知网的话题更新与跟踪算法研究[J];北京交通大学学报;2009年05期
8 林正奎;唐焕玲;鲁明羽;王敬东;;基于特征多视图提升Naive Bayesian的Boosting改进算法[J];北京交通大学学报;2009年06期
9 李文斌;刘椿年;钟宁;;基于两阶段集成学习的分类器集成[J];北京工业大学学报;2010年03期
10 蒋宗礼;徐学可;;一种基于集成学习与类指示器的文本分类方法[J];北京工业大学学报;2010年04期
中国重要会议论文全文数据库 前10条
1 叶红云;倪志伟;陈恩红;;一种混合型集成学习演化决策树算法[A];2005年“数字安徽”博士科技论坛论文集[C];2005年
2 樊晓平;廖志芳;陈宇宙;瞿志华;;大肠癌组织自体荧光光谱数据处理新方法研究[A];第二十六届中国控制会议论文集[C];2007年
3 韩露;余正涛;邓锦辉;章程;毛存礼;郭剑毅;;领域知识关系对领域文本分类的影响[A];第二十七届中国控制会议论文集[C];2008年
4 毛存礼;余正涛;线岩团;郭剑毅;雷雄丽;;基于短信的旅游景点酒店问答系统研究[A];中国自动化学会控制理论专业委员会A卷[C];2011年
5 杜方键;杨宏晖;;K均值聚类优化集成学习[A];2011'中国西部声学学术交流会论文集[C];2011年
6 马骥;朱慕华;肖桐;朱靖波;;面向移进-归约句法分析器的单模型系统融合算法[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
7 杜晓凤;丁友东;;FloatBag选择性神经网络集成及其在人脸检测中的应用[A];第十二届全国信号处理学术年会(CCSP-2005)论文集[C];2005年
8 肖婷;唐雁;;文本分类中特征选择方法及应用[A];2008年计算机应用技术交流会论文集[C];2008年
9 薛征;廖闻剑;;基于位置权重和实体识别的关键词提取[A];中国电子学会第十六届信息论学术年会论文集[C];2009年
10 侯松;周斌;贾焰;;分词结果的再搭配对文本分类效果的增强[A];全国计算机安全学术交流会论文集(第二十四卷)[C];2009年
中国博士学位论文全文数据库 前10条
1 于化龙;基于DNA微阵列数据的癌症分类技术研究[D];哈尔滨工程大学;2010年
2 曲建华;基于群体智能的聚类分析[D];山东师范大学;2010年
3 魏建香;学科交叉知识发现及其可视化研究[D];南京大学;2010年
4 罗彬;基于MMOI方法的电信客户流失预测与挽留研究[D];电子科技大学;2010年
5 桑永胜;空间数据分析的神经计算方法[D];电子科技大学;2010年
6 邓斌;B2C在线评论中的客户知识管理研究[D];电子科技大学;2010年
7 苏煜;基于SCF范式的在线P300脑机接口研究[D];浙江大学;2010年
8 李炳龙;文档碎片取证关键技术研究[D];解放军信息工程大学;2007年
9 杜方;复杂网络系统间相似性识别及其应用[D];浙江大学;2010年
10 甘良志;核学习算法与集成方法研究[D];浙江大学;2010年
中国硕士学位论文全文数据库 前10条
1 王丽敬;地理案例的空间相似性计算[D];山东科技大学;2010年
2 李金华;基于SVM的多类文本分类研究[D];山东科技大学;2010年
3 马冉冉;集成学习算法研究[D];山东科技大学;2010年
4 朱耿峰;支持向量机在冲击地压预测模型中的应用研究[D];山东科技大学;2010年
5 石国强;基于规则的组合分类器的研究[D];郑州大学;2010年
6 陈松峰;利用PCA和AdaBoost建立基于贝叶斯的组合分类器[D];郑州大学;2010年
7 吴正娟;特征变换在组合分类中的应用研究[D];郑州大学;2010年
8 曹彦;基于支持向量机的特征选择及其集成方法的研究[D];郑州大学;2010年
9 周驰;数据流上概念漂移的检测和分类[D];郑州大学;2010年
10 王洋;基于潜在语义分析的智能搜索技术研究[D];哈尔滨工程大学;2010年
【二级参考文献】
中国期刊全文数据库 前10条
1 胡锡衡;;正向最大匹配法在中文分词技术中的应用[J];鞍山师范学院学报;2008年02期
2 孙健,王伟,钟义信;基于K-最近距离的自动文本分类的研究[J];北京邮电大学学报;2001年01期
3 高军,陈锡先;无监督的动态分词方法[J];北京邮电大学学报;1997年04期
4 文庭孝;汉语自动分词研究进展[J];图书与情报;2005年05期
5 孙铁利,杨凤芹;根据用户隐式反馈建立和更新用户兴趣模型[J];东北师大学报(自然科学版);2003年03期
6 孙茂松,邹嘉彦;汉语自动分词研究评述[J];当代语言学;2001年01期
7 谭冠群;丁华福;;支持向量机方法在文本分类中的改进[J];信息技术;2008年01期
8 李静梅,孙丽华,张巧荣,张春生;一种文本处理中的朴素贝叶斯分类器[J];哈尔滨工程大学学报;2003年01期
9 胡学钢;董学春;谢飞;;基于词向量空间模型的中文文本分类方法[J];合肥工业大学学报(自然科学版);2007年10期
10 孙国菊,张杰;中文文本分类的特征选取评价[J];哈尔滨理工大学学报;2005年01期
中国硕士学位论文全文数据库 前8条
1 都云琪;中文文本自动分类的研究与实现[D];西安电子科技大学;2002年
2 孙丽华;中文文本自动分类的研究[D];哈尔滨工程大学;2002年
3 苏伟峰;基于概念的文本自动分类研究[D];厦门大学;2002年
4 陈治纲;基于向量空间模型的文本分类系统研究与实现[D];天津大学;2005年
5 甘立国;中文文本分类系统的研究与实现[D];北京化工大学;2006年
6 庞剑锋;基于向量空间模型的自反馈的文本分类系统的研究与实现[D];中国科学院研究生院(计算技术研究所);2001年
7 李东林;中文信息过滤技术的研究与应用[D];辽宁科技大学;2006年
8 于瑞萍;中文文本分类相关算法的研究与实现[D];西北大学;2007年
【相似文献】
中国期刊全文数据库 前10条
1 靳小波;;文本分类综述[J];自动化博览;2006年S1期
2 张翔;周明全;耿国华;;Bagging中文文本分类器的改进方法研究[J];小型微型计算机系统;2010年02期
3 钱铁云,王元珍,冯小年;结合类频率的关联中文文本分类[J];中文信息学报;2004年06期
4 陈艳秋;熊耀华;;新型快速中文文本分类器的设计与实现[J];计算机工程与应用;2009年22期
5 王奕;;基于概率潜在语义分析的中文文本分类研究[J];甘肃联合大学学报(自然科学版);2011年04期
6 张翔;周明全;耿国华;侯凡;;面向中文文本分类的C4.5Bagging算法研究[J];计算机工程与应用;2009年26期
7 王元珍,钱铁云,冯小年;基于关联规则挖掘的中文文本自动分类[J];小型微型计算机系统;2005年08期
8 马建斌;李滢;滕桂法;王芳;赵洋;;KNN和SVM算法在中文文本自动分类技术上的比较研究[J];河北农业大学学报;2008年03期
9 刘怀亮;张治国;马志辉;赵捧未;;基于KNN的中文文本分类反馈学习研究[J];图书情报工作;2008年10期
10 张翔;周明全;耿国华;侯凡;;Bagging算法在中文文本分类中的应用[J];计算机工程与应用;2009年05期
中国重要会议论文全文数据库 前10条
1 陈伟萍;王琳;封化民;杨鼎才;方勇;;一种基于语义概念的中文文本分类方法[A];第一届建立和谐人机环境联合学术会议(HHME2005)论文集[C];2005年
2 穆明生;;基于特征集的多种分类器模型的在线笔迹认证[A];第十届全国信号处理学术年会(CCSP-2001)论文集[C];2001年
3 朱思俞;石锋;;不定人连续汉语音的四声识别[A];第二届全国人机语音通讯学术会议论文集[C];1992年
4 徐蔚然;于武贵;郭军;;基于统计方法的混排文字切分与分类[A];第八届全国汉字识别学术会议论文集[C];2002年
5 邵小健;段华;贺国平;;一种改进的最少核分类器[A];中国运筹学会第七届学术交流会论文集(上卷)[C];2004年
6 雷蕾;吴乃君;刘鹏;刘兰娟;;灵敏度分析:分类器中的缺失数据[A];第11届海峡两岸信息管理发展策略研讨会论文集[C];2005年
7 陈颖颖;张雁军;贾鑫;;通信信号调制识别方法[A];第一届中国高校通信类院系学术研讨会论文集[C];2007年
8 王颖;毋立芳;关媛;王涓涓;;基于LBP的SVM人脸姿势估计方法[A];第十三届全国信号处理学术年会(CCSP-2007)论文集[C];2007年
9 张国荣;;基于SVM分类算法的电力变压器故障诊断[A];第六届全国信息获取与处理学术会议论文集(2)[C];2008年
10 熊琴;李陶深;陈燕;蒙辉;;NS2中选播通信模块的设计与实现[A];2007年全国开放式分布与并行计算机学术会议论文集(下册)[C];2007年
中国重要报纸全文数据库 前10条
1 黄明;精子分类器决定生男生女[N];广东科技报;2000年
2 通讯员 彭云 袁龙刚;袁仁国荣膺改革开放30年酒界领军人物[N];经理日报;2009年
3 记者 万宁;业绩增长仍是主流[N];中国证券报;2005年
4 记者 姜晓凌 见习记者 王毅俊;原来,科技也能如此美丽[N];上海科技报;2007年
5 中国科学院东北地理与农业生态研究所 李建平;保护地球之肾 遥感体检湿地健康[N];中国水利报;2008年
6 CPW 张戈;Aperto PacketMAX系列可同时服务2000个用户[N];电脑商报;2005年
7 李倩;多种价格国债招标方式有望推出[N];金融时报;2004年
8 武德锋 李国辉 林洪文 姚作梁;图像世界任我行[N];计算机世界;2002年
9 中科院院士 戴汝为;开辟人机结合的新天地[N];计算机世界;2004年
10 本报记者 汪涛 ;证监会再下严令 迫货币市场基金软着陆[N];21世纪经济报道;2005年
中国博士学位论文全文数据库 前10条
1 周雪忠;文本挖掘在中医药中的若干应用研究[D];浙江大学;2004年
2 薛德军;中文文本自动分类中的关键问题研究[D];清华大学;2004年
3 张翔;文本挖掘技术研究及其在综合风险信息网络中的应用[D];西北大学;2011年
4 张涛;基于语音特征的帕金森病可视化诊断方法研究[D];燕山大学;2012年
5 张冬梅;文本情感分类及观点摘要关键问题研究[D];山东大学;2012年
6 代六玲;互联网内容监管系统关键技术的研究[D];南京理工大学;2005年
7 刘云峰;基于潜在语义分析的中文概念检索研究[D];华中科技大学;2005年
8 王喆;面向模式表示与模式源的分类器设计方法研究[D];南京航空航天大学;2008年
9 谢元澄;分类器集成研究[D];南京理工大学;2009年
10 杨显飞;数据流集成分类器算法研究[D];哈尔滨工程大学;2011年
中国硕士学位论文全文数据库 前10条
1 吕万里;中文文本分类技术研究[D];山东科技大学;2010年
2 陈雅芳;中文文本分类方法研究[D];浙江大学;2010年
3 李丹;基于朴素贝叶斯方法的中文文本分类研究[D];河北大学;2011年
4 鲁婷;K-近邻中文文本分类方法的研究[D];合肥工业大学;2010年
5 赵德圣;基于关联技术的中文文本分类研究[D];南京理工大学;2011年
6 何钟莉;中文文本分类关键技术研究与实现[D];西安电子科技大学;2009年
7 陈冲;互联网中文文本分类的研究与应用[D];北京邮电大学;2011年
8 李保秀;中文文本分类技术研究[D];南昌大学;2010年
9 马鹏飞;中文文本分类算法研究[D];南京理工大学;2012年
10 李原;中文文本分类中分词和特征选择方法研究[D];吉林大学;2011年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026