收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于自然语言处理和机器学习的文本分类及其应用研究

王懿  
【摘要】:本文讨论了基于自然语言处理和机器学习的文本分类任务,提出了文本分类中新的特征降维方法,并结合两种不同的机器学习算法,观察了不同的降维方法和机器学习算法相组合完成文本分类的性能随特征空间维数变化的现象,并尝试探讨了造成这种现象的原因。具体描述了完成分类任务所需要的自然语言处理、降维和机器学习的算法及其理论基础。设计了紧凑的数据结构和算法过程来实现本文提出的降维方法。分析了文本分类对搜索在效果和效率上的帮助,阐述了文本分类在信息过滤中的应用,并结合招聘信息服务系统的设想分析了其在主动信息服务方面的应用。本文还分析了文本分类各个阶段可能的改进发展方向。 文本分类分为两个阶段完成,分别采用了自然语言处理和机器学习的技术。因此,文本分类在理论研究上的价值体现在对这两种技术的推动。然而文本分类的意义远不如此。分本分类对于提高网上信息检索的效果和效率很有帮助,是推进个性化服务,改进信息获取模式的重要方面,也是内容安全的基础。因此好的分类性能是关注的焦点。研究文本分类任务的理论和工程问题,将具有重要意义。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 任克强;张国萍;赵光甫;;基于向量空间模型的特征抽取技术分析[J];科技广场;2007年09期
2 白云晖;;基于信息增益特征选取和覆盖的中文文本分类[J];福建电脑;2008年07期
3 任克强;张国萍;赵光甫;;基于相对文档频的平衡信息增益降维方法[J];江西理工大学学报;2008年05期
4 孙娜;;基于本体的文本分类研究综述[J];电脑知识与技术;2011年10期
5 奉国和;郑伟;;文本分类特征降维研究综述[J];图书情报工作;2011年09期
6 陈涛,谢阳群;文本分类中的特征降维方法综述[J];情报学报;2005年06期
7 刘海峰;姚泽清;王元元;张述祖;;一种基于散度差组合型文本特征降维方法[J];微电子学与计算机;2008年08期
8 杨新武;李森;刘椿年;;基于BP网络的中文文本分类技术[J];微计算机应用;2008年03期
9 刘海峰;姚泽清;王元元;张述祖;;一种基于散度差组合型文本特征降维方法[J];微电子学与计算机;2009年04期
10 伍建军;康耀红;;文本分类中特征降维方式的研究[J];海南大学学报(自然科学版);2007年01期
11 刘海峰;刘守生;姚泽清;张学仁;;一种基于改进K-means聚类的文本特征选择模型[J];微电子学与计算机;2009年06期
12 易勇;郑艳;何中市;李良炎;;基于机器学习的古典诗词作者的判别研究[J];心智与计算;2007年03期
13 邹娟;周经野;邓成;刘玲;;基于多重启发式规则的中文文本特征值提取方法[J];计算机工程与科学;2006年08期
14 刘海峰;刘守生;姚泽清;;一种基于类别的混合型文本特征降维[J];微电子学与计算机;2010年10期
15 马海兵;刘永丹;王兰成;李荣陆;;三种文档语义倾向性识别方法的分析与比较[J];现代图书情报技术;2007年04期
16 刘海峰;王元元;张学仁;刘守生;;文本分类中一种基于正交变换的特征降维方法[J];计算机科学;2008年05期
17 刘海峰;姚泽清;张述祖;王元元;;文本分类中一种基于核的最大散度差特征抽取方法[J];计算机应用研究;2009年01期
18 刘海峰;张学仁;姚泽清;刘守生;;基于类别选择的改进KNN文本分类[J];计算机科学;2009年11期
19 刘海峰;汪泽焱;姚泽清;刘守生;;文本分类中一种基于密度的KNN改进方法[J];情报学报;2009年06期
20 刘海峰;王元元;张学仁;姚泽清;;文本分类中基于位置和类别信息的一种特征降维方法[J];计算机应用研究;2008年08期
中国重要会议论文全文数据库 前10条
1 朱慕华;朱靖波;陈文亮;;面向支持向量机的降维方法比较分析[A];第二届全国信息检索与内容安全学术会议(NCIRCS-2005)论文集[C];2005年
2 杜长海;吉根林;;模糊聚类的最大树法在文本分类中的应用研究[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
3 陈克利;宗成庆;王霞;;基于大规模真实文本的平衡语料分析与文本分类方法[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
4 朱慕华;陈文亮;朱靖波;;词聚类在文本分类中的应用[A];第二届全国学生计算语言学研讨会论文集[C];2004年
5 刘秉权;李博;孙林;王宝勋;刘远超;;标签特征和正文特征融合的SVM博客文本分类算法研究[A];第六届全国信息检索学术会议论文集[C];2010年
6 伍建军;康耀红;;关于文本分类中特征降维方式的研究[A];第三届学生计算语言学研讨会论文集[C];2006年
7 海丽且木·艾沙;维尼拉·木沙江;;Web文本分类及其维、哈、柯多文种信息检索中的应用研究[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
8 商炳章;白清源;;基于特征项权重改进的关联文本分类[A];第二十五届中国数据库学术会议论文集(二)[C];2008年
9 张永;陈思睿;杨志勇;;一种改进的文本分类方法的研究[A];第二届全国信息检索与内容安全学术会议(NCIRCS-2005)论文集[C];2005年
10 胡俊;黄厚宽;;一种基于SVM的可视化文本分类的方法[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
中国博士学位论文全文数据库 前10条
1 孟佳娜;迁移学习在文本分类中的应用研究[D];大连理工大学;2011年
2 李智星;用于文本分类的简明语义分析技术研究[D];重庆大学;2011年
3 章舜仲;文本分类中词共现关系的研究及其应用[D];南京理工大学;2010年
4 卢延鑫;基于自然语言处理技术的循证医学信息提取研究[D];复旦大学;2011年
5 刘伍颖;面向垃圾信息过滤的主动多域学习文本分类方法研究[D];国防科学技术大学;2011年
6 李彦鹏;特征耦合泛化及其在文体挖掘中的应用[D];大连理工大学;2011年
7 王博;文本分类中特征选择技术的研究[D];国防科学技术大学;2009年
8 王占一;Web文本挖掘中若干问题的研究[D];北京邮电大学;2012年
9 冯国忠;文本分类中的贝叶斯特征选择[D];东北师范大学;2011年
10 平源;基于支持向量机的聚类及文本分类研究[D];北京邮电大学;2012年
中国硕士学位论文全文数据库 前10条
1 王懿;基于自然语言处理和机器学习的文本分类及其应用研究[D];中国科学院研究生院(成都计算机应用研究所);2006年
2 赵城利;基于Web的信息智能感知技术及应用[D];国防科学技术大学;2004年
3 张春燕;基于自然语言处理的文本分类分析与研究[D];江西理工大学;2011年
4 李家兵;交叉覆盖算法下文本分类的研究[D];安徽大学;2007年
5 苏小康;基于维基百科构建语义知识库及其在文本分类领域的应用研究[D];华中师范大学;2010年
6 宋志理;基于LDA模型的文本分类研究[D];西安理工大学;2010年
7 张彪;文本分类中特征选择算法的分析与研究[D];中国科学技术大学;2010年
8 张保富;基于粗糙集的中文文本分类算法研究及应用[D];江苏大学;2010年
9 蒋健;文本分类中特征提取和特征加权方法研究[D];重庆大学;2010年
10 闫晨;KNN文本分类研究[D];燕山大学;2010年
中国重要报纸全文数据库 前10条
1 本报记者 姜靖;张全:给网络装上“电子眼”[N];科技日报;2009年
2 本报记者 祝蕾 见习记者 许凯;李晓戈:努力缩小国内外数字“鸿沟”[N];济南日报;2010年
3 金利;东北大学自然语言处理实验室形成特色[N];科技日报;2007年
4 小柯;张全:网络环境“清洁师”[N];广东科技报;2009年
5 何清 史忠植 王伟;搜索引擎的前沿技术[N];计算机世界;2006年
6 沈建缘;洪小文:时尚科学家[N];经济观察报;2009年
7 记者 刘传书;微软在深圳设实验室[N];科技日报;2006年
8 郑昊;数据挖掘加工海量数据[N];中国计算机报;2007年
9 ;开天辟地第一回[N];计算机世界;2002年
10 刘洁;SAS分析产品链增添“新成员”[N];科技日报;2008年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978