收藏本站
《中南大学》 2005年
收藏 | 手机打开
二维码
手机客户端打开本文

基于半监督学习的中文文档分类技术研究

何尧  
【摘要】:文本分类是指分析文本内容并按一定的策略把文本归入一个或多个合适的类别的应用技术。随着Internet的出现,大量的文字信息开始以计算机可读的形式存在,以传统的手工方式对这些信息进行组织整理既费时费力且效果不理想,文本分类由于利用机器来对文本进行分析整理,使用户从繁琐的文档处理工作中解放出来,并能极大地提高信息的利用率,而受到越来越多的重视,已广泛应用于文本处理和文本检索的各个领域,成为处理和组织大规模文本信息的关键技术,并推动了信息处理朝着自动化的方向发展。 本文首先研究了文本分类的背景和发展现状,阐述其系统结构,对文本分类的几个关键技术:文本特征生成、特征选择与降维、权重的计算和文本分类技术的各个算法进行了分析和评价。 然后鉴于高分类精度需要大规模已标记训练集而已标记文档缺乏,利用未标识文档进行学习的半监督学习算法已成为文本分类的研究重点这一情况,着重研究了半监督分类算法。对现有的各个算法进行了比较分析,发现当已标识文档很少时,比如每类少于10个已标识文档时,这些算法会错误地估计最初的数据分布而降低了其分类的正确性。对此提出了一个基于聚类的分类算法,对已标识文档和未标识文档一起聚类,通过聚类扩大已标识文档集,提高了分类器分类的准确性。 最后本文设计了一个中文文本分类原型系统,为保证测试的准确性,采用了不同的数据源进行测试,并根据网页文档的特殊格式、特征词的频率、文档的长度以及特征词的长度四个因素对文本特征进行了加权处理,最后用SVM,TSVM,Co-training与本文提出的算法进行了有监督学习性能测试和半监督学习性能测试。通过以上测试表明,当有足够的已标识文档时,本算法与其它算法性能相当,但当已标识文档很少时,本算法优于现有的其它算法。
【学位授予单位】:中南大学
【学位级别】:硕士
【学位授予年份】:2005
【分类号】:TP391.1

【相似文献】
中国期刊全文数据库 前10条
1 何文才;张琼;余菲;都婧;焦黎冰;;基于树状SVM的网页分类与信息安全过滤系统研究[J];网络安全技术与应用;2008年08期
2 许幸;张启蕊;;基于KNN算法的医药信息文本分类系统的研究[J];计算机技术与发展;2009年04期
3 许增福,梁静国,田晓宇;基于FVSM和自组织映射网络的Web文本自动分类方法[J];哈尔滨工业大学学报;2004年09期
4 郑海,林鸿飞;基于段落匹配的文本分类机制[J];计算机工程与应用;2004年28期
5 王丁,运海红,张辉;文本自动分类系统的研究与实现[J];信息技术;2005年03期
6 杜志文;曾文华;;网格计算在文本分类中的应用[J];微电子学与计算机;2006年S1期
7 崔彩霞;王素格;;基于粗集的支持向量机文本分类方法研究[J];科技广场;2006年08期
8 马忠宝;刘冠蓉;;基于支持向量机的中文文本分类模型研究[J];计算机技术与发展;2006年11期
9 张燕;寒枫;楚红涛;;文本挖掘简述[J];中国电力教育;2006年S3期
10 祝晓鲁;白振兴;贾海燕;;自动文本分类技术研究[J];现代电子技术;2007年03期
中国重要会议论文全文数据库 前10条
1 陈克利;宗成庆;王霞;;基于大规模真实文本的平衡语料分析与文本分类方法[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
2 杜长海;吉根林;;模糊聚类的最大树法在文本分类中的应用研究[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
3 刘秉权;李博;孙林;王宝勋;刘远超;;标签特征和正文特征融合的SVM博客文本分类算法研究[A];第六届全国信息检索学术会议论文集[C];2010年
4 海丽且木·艾沙;维尼拉·木沙江;;Web文本分类及其维、哈、柯多文种信息检索中的应用研究[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
5 商炳章;白清源;;基于特征项权重改进的关联文本分类[A];第二十五届中国数据库学术会议论文集(二)[C];2008年
6 胡俊;黄厚宽;;一种基于SVM的可视化文本分类的方法[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
7 朱慕华;陈文亮;朱靖波;;词聚类在文本分类中的应用[A];第二届全国学生计算语言学研讨会论文集[C];2004年
8 王小华;陆蓓;张国煊;;文本自动分类的模糊方法[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
9 庞剑锋;程学旗;;反馈方法在文本分类系统中的应用[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
10 贾会强;刘晓丽;于洪志;;基于词性特征提取的藏文文本分类方法研究[A];CCF NCSC 2011——第二届中国计算机学会服务计算学术会议论文集[C];2011年
中国重要报纸全文数据库 前10条
1 本报记者  周松林;上证所XBRL基金信息分类获国际认证[N];中国证券报;2006年
2 证券时报记者  黄婷;上证所基金信息分类获国际认证[N];证券时报;2006年
3 黄鑫 李晶;信息分类网让信息互动起来[N];经济日报;2006年
4 实习生 林莉君;“网格信息分类目录”解决电子政务建设瓶颈[N];科技日报;2004年
5 记者  胡春玲 程媛;用工信息分类“上架”郑州人力资源“超市”开张了[N];中国劳动保障报;2006年
6 本报记者 黄鑫;优化招聘职位信息分类 提供便捷有效求职平台[N];经济日报;2009年
7 刘一冰;RSA关注信息分类与监控[N];电脑商报;2008年
8 本报记者  杨生 丽华;上证所将打造XBRL产业链[N];中国证券报;2006年
9 本报记者 晓渔;填补电视剧综合信息分类领域空白[N];中华新闻报;2007年
10 赛迪顾问公司信息化咨询中心总经理 赵刚;建立企业架构 应对IT复杂化挑战[N];金融时报;2006年
中国博士学位论文全文数据库 前10条
1 章舜仲;文本分类中词共现关系的研究及其应用[D];南京理工大学;2010年
2 孟佳娜;迁移学习在文本分类中的应用研究[D];大连理工大学;2011年
3 李智星;用于文本分类的简明语义分析技术研究[D];重庆大学;2011年
4 刘伍颖;面向垃圾信息过滤的主动多域学习文本分类方法研究[D];国防科学技术大学;2011年
5 王博;文本分类中特征选择技术的研究[D];国防科学技术大学;2009年
6 冯国忠;文本分类中的贝叶斯特征选择[D];东北师范大学;2011年
7 平源;基于支持向量机的聚类及文本分类研究[D];北京邮电大学;2012年
8 程军;基于统计的文本分类技术研究[D];中国科学院研究生院(文献情报中心);2003年
9 万源;基于语义统计分析的网络舆情挖掘技术研究[D];武汉理工大学;2012年
10 祝翠玲;基于类别结构的文本层次分类方法研究[D];山东大学;2011年
中国硕士学位论文全文数据库 前10条
1 张彪;文本分类中特征选择算法的分析与研究[D];中国科学技术大学;2010年
2 何尧;基于半监督学习的中文文档分类技术研究[D];中南大学;2005年
3 张保富;基于粗糙集的中文文本分类算法研究及应用[D];江苏大学;2010年
4 蒋健;文本分类中特征提取和特征加权方法研究[D];重庆大学;2010年
5 闫晨;KNN文本分类研究[D];燕山大学;2010年
6 苏小康;基于维基百科构建语义知识库及其在文本分类领域的应用研究[D];华中师范大学;2010年
7 李璇;基于坐标下降法的半监督学习算法及其在文本分类中的应用[D];华南理工大学;2010年
8 宋志理;基于LDA模型的文本分类研究[D];西安理工大学;2010年
9 郭志毅;基于EM算法的半监督文本分类方法研究[D];重庆邮电大学;2010年
10 郭明;基于文本分类技术的文本情感倾向性研究[D];郑州大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026