收藏本站
《复旦大学》 2006年
收藏 | 手机打开
二维码
手机客户端打开本文

文本信息处理的若干关键技术研究

熊云波  
【摘要】: 随着信息时代的到来和Internet的日益普及,文本信息迅速膨胀。Internet上有数十亿的网页,成千上万TB的数据。而且,每天有数十万的网页更新,数百万的新的网页加入,使得Internet上的信息丰富而又复杂。如何有效地组织和管理这些信息,并快速、准确、全面地从中找到用户所需要的信息是当前信息科学领域面临的一大挑战。 文本是最基本、最常见的信息载体。本文以文本信息检索模型为基准,对文本信息处理的几个关键技术包括文本分类、文本聚类和近似查询处理等进行研究。文本分类和文本聚类是对数据进行组织和管理的核心技术。近似查询处理需要快速查询到所需信息,这是解决大规模数据集的一个重要技术。 以下是本文的主要研究内容: (1)文本信息处理的技术基础。包括文档表示模型、切词、特征选择、文本分类和文本聚类。本文简单介绍了集合模型、代数模型、概率模型和概念模型等四种文档表示模型;分析了中文切词的主要问题和主要方法;具体介绍了文档特征及其选择算法;详细介绍了文本分类和文本聚类,并重点概括了一些重要的文本分类和文本聚类算法。 (2)基于混淆矩阵的层次结构构造。在信息化时代,文档的海量化和复杂化使得对文档进行层次分类成为必要。本文根据描述平面分类器的错误情况的混淆矩阵,提出了两种层次结构构造法。一种是层次聚类法,另一种是混淆类别法。层次聚类法采用合并策略,即:初始时将每个样本看作一类,然后根据它们的相似性或距离逐渐合并,直到形成一个大类为止。混淆类别法根据各类别间容易混淆的概率大于某个阈值t形成混淆类别,从而构造层次结构。对这两种算法均给出了详细的算法。最后通过相关实验对这两种层次结构构造方法进行比较。实验结果表明混淆类别法策略优于层次聚类法。主要是因为层次聚类法认为父类下一层的子类间的混淆关系是对称的,而实际文本并没有体现这一点。 (3)文档流派分类研究。文档流派描述的是文档的风格,而不是文档的内容。文档的流派和文档的主题是正交的。也就是说,相同主题的文档可以有不同的流派,相同流派的文档可以描述不同的主题。流派分类在信息检索、信息过滤、反动信息的拦截和网上舆情调查等方面发挥了越来越重要的作用。为了对文档的正反面进行分类,本文提出了基于特征情感色彩的文档流派分类方法(情感分类)。对于情感分类来说,它和基于主题的分类在分类方法上并没有本质区别。可以认为,基于文档的正反面情感分类就是一个普通的二类分类问题。所以,情感特征的选择和情感倾向判定就尤为重要。因此,本文主要研究情感特征词的选择、情感倾向判定和情感倾向权值计算,并研究了几种典型的方法。最后,在国家自然科学基金(60173027)的支助下,开发了一个情感原型系统,并将情感分类方法同传统文本分类方法和基于语义模式的方法进行比较。结果表明:情感分类方法较差,基于语义模式的方法最好,传统文本分类方法居中。但是情感分类方法不需要人工标注训练样本,不需要针对每个主题构建一个独立的分类器,所以这种方法有较强的通用性,而且分类速度也要快很多。 (4)基于小波变换的近似查询处理。传统的决策支持系统(DSS)在数据查询时希望查询系统能够根据提交的查询提供一个准确的结果,反应时间很长,这是一种典型的“黑盒”模式。但在现今的DSS、在线分析处理(OLAP)、在线聚集等领域,往往不需要一个精准的结果,而对系统的反应速度有很高的要求。这时近似查询就应运而生。小波已经证明了在层次分解(压缩)领域的高效率。小波变换通过将GB/TB级的数据压缩为MB级的数据从而达到近似查询的高速反应要求。本文通过这种压缩机制,在前人提出的选择(Select)、投影(Project)和连接(Join)算法的基础上,提出了合并(Union)、差(Difference)和更新(Update)等操作算法。这些操作都是在小波大纲级上进行的。小波大纲是对源数据的压缩。最后给出了有关实验。实验结果表明,在union和difference操作中,使用小波变换的方法优于任意样本(random sampling)法。并且,当数据的更新不是很大时,对小波系数进行update算法的性能几乎和最优小波系数法相当。
【学位授予单位】:复旦大学
【学位级别】:博士
【学位授予年份】:2006
【分类号】:TP391.1

手机知网App
【相似文献】
中国期刊全文数据库 前10条
1 高金勇;徐朝军;冯奕竸;;基于迭代的TFIDF在短文本分类中的应用[J];情报理论与实践;2011年06期
2 唐云;罗俊松;;基于粗糙集和BP神经网络的文本分类研究[J];计算机仿真;2011年06期
3 胥桂仙;向春丞;翁彧;赵小兵;杨国胜;;基于栏目的藏文网页文本自动分类方法[J];中文信息学报;2011年04期
4 张国梁;肖超锋;;基于SVM新闻文本分类的研究[J];电子技术;2011年08期
5 刘新生;厉锟;;基于BP神经网络的旅游突发事件文本分类系统的设计与实现[J];计算机与现代化;2011年07期
6 王斌;朴顺姬;邵华清;;基于粗糙集的KNN的WEB文本分类的研究[J];数字技术与应用;2011年08期
7 张春元;;基于条件随机场的文本分类模型[J];计算机技术与发展;2011年07期
8 卢志翔;蒙丽莉;;文本分类中特征项权重算法的改进[J];柳州师专学报;2011年04期
9 甄志龙;曾晓勤;韩立新;;文本分类中基于图模型的特征提取方法[J];情报科学;2011年08期
10 奉国和;;文本分类性能评价研究[J];情报杂志;2011年08期
中国重要会议论文全文数据库 前10条
1 陈克利;宗成庆;王霞;;基于大规模真实文本的平衡语料分析与文本分类方法[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
2 杜长海;吉根林;;模糊聚类的最大树法在文本分类中的应用研究[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
3 刘秉权;李博;孙林;王宝勋;刘远超;;标签特征和正文特征融合的SVM博客文本分类算法研究[A];第六届全国信息检索学术会议论文集[C];2010年
4 海丽且木·艾沙;维尼拉·木沙江;;Web文本分类及其维、哈、柯多文种信息检索中的应用研究[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
5 商炳章;白清源;;基于特征项权重改进的关联文本分类[A];第二十五届中国数据库学术会议论文集(二)[C];2008年
6 胡俊;黄厚宽;;一种基于SVM的可视化文本分类的方法[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
7 朱慕华;陈文亮;朱靖波;;词聚类在文本分类中的应用[A];第二届全国学生计算语言学研讨会论文集[C];2004年
8 王小华;陆蓓;张国煊;;文本自动分类的模糊方法[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
9 庞剑锋;程学旗;;反馈方法在文本分类系统中的应用[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
10 贾会强;刘晓丽;于洪志;;基于词性特征提取的藏文文本分类方法研究[A];CCF NCSC 2011——第二届中国计算机学会服务计算学术会议论文集[C];2011年
中国重要报纸全文数据库 前6条
1 中国科学院计算技术研究所 王 斌;内容为王[N];计算机世界;2004年
2 高利华;传承陆游风骨 推进国际交流[N];人民日报海外版;2005年
3 林木树;反垃圾邮件有待新突破[N];人民邮电;2004年
4 希安;微软试水信息检索[N];经济日报;2004年
5 王培森;从Web挖到竞争情报[N];中国计算机报;2003年
6 应晓敏 窦文华;技术架构[N];计算机世界;2003年
中国博士学位论文全文数据库 前10条
1 章舜仲;文本分类中词共现关系的研究及其应用[D];南京理工大学;2010年
2 孟佳娜;迁移学习在文本分类中的应用研究[D];大连理工大学;2011年
3 李智星;用于文本分类的简明语义分析技术研究[D];重庆大学;2011年
4 刘伍颖;面向垃圾信息过滤的主动多域学习文本分类方法研究[D];国防科学技术大学;2011年
5 熊云波;文本信息处理的若干关键技术研究[D];复旦大学;2006年
6 王博;文本分类中特征选择技术的研究[D];国防科学技术大学;2009年
7 冯国忠;文本分类中的贝叶斯特征选择[D];东北师范大学;2011年
8 平源;基于支持向量机的聚类及文本分类研究[D];北京邮电大学;2012年
9 程军;基于统计的文本分类技术研究[D];中国科学院研究生院(文献情报中心);2003年
10 万源;基于语义统计分析的网络舆情挖掘技术研究[D];武汉理工大学;2012年
中国硕士学位论文全文数据库 前10条
1 张彪;文本分类中特征选择算法的分析与研究[D];中国科学技术大学;2010年
2 叶磊;电子公告系统环境中的数据挖掘技术设计与实现[D];华东交通大学;2009年
3 张保富;基于粗糙集的中文文本分类算法研究及应用[D];江苏大学;2010年
4 蒋健;文本分类中特征提取和特征加权方法研究[D];重庆大学;2010年
5 闫晨;KNN文本分类研究[D];燕山大学;2010年
6 苏小康;基于维基百科构建语义知识库及其在文本分类领域的应用研究[D];华中师范大学;2010年
7 李璇;基于坐标下降法的半监督学习算法及其在文本分类中的应用[D];华南理工大学;2010年
8 宋志理;基于LDA模型的文本分类研究[D];西安理工大学;2010年
9 郭志毅;基于EM算法的半监督文本分类方法研究[D];重庆邮电大学;2010年
10 吕小勇;多标签文本分类算法研究[D];山西财经大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026