收藏本站
《中南大学》 2009年
收藏 | 手机打开
二维码
手机客户端打开本文

基于潜在语义索引的文本分类及其在科技信息检索中的研究

彭毅  
【摘要】: 随着科技的进步,科技创新越来越受重视,但目前科技项目评审缺乏科技创新参考指标,因此需要对以往科技项目创新性指标进行分类,提高科技项目评审的质量。采用传统的基于向量空间模型的方法不能满足查全率和查准率的需要,因此论文给出潜在语义索引的文本分类模型,以提高查全率和查准率。 本文在潜在语音索引/奇异值分解的基础上,分析奇异值分解方法在实际分类中所存在的问题,引入偏最小二乘法来替代奇异值分解方法。通过对全局潜在语义索引分类模型的实验,发现该分类模型整体上具有良好的分类稳定性和准确度。但是这种全局潜在语义索引分类模型对稀有类别的分类效果比较差,为此,进一步引入局部潜在语义索引分类模型。同时为了进一步降低存局部潜在语义分类的存储空间的开销,采用半离散分解方法替代奇异值分解方法。通过实验,发现局部潜在语义模型能很好地解决了稀有类别的分类问题,并且全部类别的查全率和查准率都有一定的提高。实验语料采用标准中文语料和科技项目信息语料两种语料,以提高分类模型上的通用性。 本文在潜在语义索引的基础上,通过对全局潜在语义分类模型和局部潜在语义分类模型的研究,发现潜在语义索引能一定程度上提高文本分类的性能。
【学位授予单位】:中南大学
【学位级别】:硕士
【学位授予年份】:2009
【分类号】:TP391.1

手机知网App
【相似文献】
中国期刊全文数据库 前10条
1 李宁;徐虹;;基于文本分类的语义平滑在语言模型中的应用(英文)[J];成都信息工程学院学报;2008年03期
2 彭耶萍;肖大光;;个性化信息检索中的文本分类方法[J];电脑知识与技术;2008年29期
3 牛玲;;一种基于向量空间模型的改进文本分类算法[J];情报杂志;2006年06期
4 李楠;杨彬彬;;决策树ID3分类算法在文本分类中的应用研究[J];大连大学学报;2009年06期
5 巩军;刘鲁;;一种k-NN文本分类器的改进方法[J];情报学报;2007年01期
6 徐燕;李锦涛;王斌;孙春明;;基于区分类别能力的高性能特征选择方法[J];软件学报;2008年01期
7 徐燕;李锦涛;王斌;孙春明;张森;;文本分类中特征选择的约束研究[J];计算机研究与发展;2008年04期
8 姚晨光;杨炳儒;;一种Internet专业信息搜索共享系统[J];现代电子技术;2007年14期
9 乔良;;文本挖掘技术研究及其在信息检索中的应用[J];软件导刊;2009年04期
10 杨林波;王士同;;基于类别分布特征的快速文本分类方法[J];计算机工程与设计;2009年05期
中国重要会议论文全文数据库 前10条
1 徐燕;王斌;李锦涛;孙春明;;知识增益:文本分类中一种新的特征选择方法[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
2 海丽且木·艾沙;维尼拉·木沙江;;Web文本分类及其维、哈、柯多文种信息检索中的应用研究[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
3 陈克利;宗成庆;王霞;;基于大规模真实文本的平衡语料分析与文本分类方法[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
4 杜长海;吉根林;;模糊聚类的最大树法在文本分类中的应用研究[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
5 刘秉权;李博;孙林;王宝勋;刘远超;;标签特征和正文特征融合的SVM博客文本分类算法研究[A];第六届全国信息检索学术会议论文集[C];2010年
6 商炳章;白清源;;基于特征项权重改进的关联文本分类[A];第二十五届中国数据库学术会议论文集(二)[C];2008年
7 胡俊;黄厚宽;;一种基于SVM的可视化文本分类的方法[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
8 包剑;冀明;冯军;;基于模糊支持向量机的文本分类[A];中国运筹学会模糊信息与模糊工程分会第五届学术年会论文集[C];2010年
9 朱慕华;陈文亮;朱靖波;;词聚类在文本分类中的应用[A];第二届全国学生计算语言学研讨会论文集[C];2004年
10 ;内容简介[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
中国重要报纸全文数据库 前10条
1 希安;微软试水信息检索[N];经济日报;2004年
2 叶静;开辟信息检索的新天地[N];人民邮电;2001年
3 本报记者 潘永花;组件化平台提升信息检索效率[N];网络世界;2003年
4 刘静一;个人档案信息检索[N];建筑报;2000年
5 刘光强;搜索个人、企业、垂直三大搜索新进展[N];中国计算机报;2007年
6 柏荣;国家973项目在因特网大规模信息检索领域取得突破[N];中国高新技术产业导报;2003年
7 刘立新;信息社会技术前瞻[N];学习时报;2006年
8 常燕杰;商用搜索 须打智慧牌[N];中国计算机报;2006年
9 微软中国研究院 陈正 李明镜 马维英;互联网上图像信息检索[N];计算机世界;2001年
10 夏飞平 蒋光君;深圳局:信息检索实现“一点通”[N];中国国门时报;2009年
中国博士学位论文全文数据库 前10条
1 左家莉;信息检索中Markov网络图模型研究[D];江西财经大学;2011年
2 章舜仲;文本分类中词共现关系的研究及其应用[D];南京理工大学;2010年
3 孟佳娜;迁移学习在文本分类中的应用研究[D];大连理工大学;2011年
4 李智星;用于文本分类的简明语义分析技术研究[D];重庆大学;2011年
5 刘伍颖;面向垃圾信息过滤的主动多域学习文本分类方法研究[D];国防科学技术大学;2011年
6 王博;文本分类中特征选择技术的研究[D];国防科学技术大学;2009年
7 王占一;Web文本挖掘中若干问题的研究[D];北京邮电大学;2012年
8 周瑛;神经网络作为分类器的算法研究及在信息检索中的应用[D];安徽大学;2006年
9 冯国忠;文本分类中的贝叶斯特征选择[D];东北师范大学;2011年
10 平源;基于支持向量机的聚类及文本分类研究[D];北京邮电大学;2012年
中国硕士学位论文全文数据库 前10条
1 刘洋;最优搜索理论与支持向量机在信息检索中的应用研究[D];电子科技大学;2007年
2 崔保红;Ontology自动生成技术及应用[D];北京工业大学;2005年
3 闫晨;KNN文本分类研究[D];燕山大学;2010年
4 宋志理;基于LDA模型的文本分类研究[D];西安理工大学;2010年
5 张彪;文本分类中特征选择算法的分析与研究[D];中国科学技术大学;2010年
6 黄海英;基于概念空间的文本分类的应用研究[D];广西师范大学;2002年
7 张保富;基于粗糙集的中文文本分类算法研究及应用[D];江苏大学;2010年
8 蒋健;文本分类中特征提取和特征加权方法研究[D];重庆大学;2010年
9 苏小康;基于维基百科构建语义知识库及其在文本分类领域的应用研究[D];华中师范大学;2010年
10 李璇;基于坐标下降法的半监督学习算法及其在文本分类中的应用[D];华南理工大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026