收藏本站
《复旦大学》 2003年
收藏 | 手机打开
二维码
手机客户端打开本文

文本过滤关键技术研究

夏迎炬  
【摘要】: 随着互联网的发展和存贮技术的提高,计算机可读的文本信息也越来越多。而对于特定的用户而言,所需要的信息往往只占其中极小的一部分。大规模的可用网络资源和特定用户对特定的信息的需求使得大规模文本信息处理软件成为信息用户的迫切需求。而要从大规模的网络信息中抽取有用的信息资源,对信息处理的智能性、速度和精度都将提出极为严格的要求。文本过滤所研究的内容就是如何准确地表达用户需求,进而在大规模的信息流中自动地筛选出满足用户需求的信息,使人们更有效地利用信息资源。 论文的工作主要集中在文本过滤尤其是自适应文本过滤中的关键技术上,设计并实现了大规模文本过滤的实验平台,参加了两届国际文本检索会议(TREC10、TREC11)并取得了好成绩。以此为基础,我们实现了多个实用系统,包括中文文本过滤系统、因特网话题信息检索系统等均达到了非常好的效果。 在文本表示方面,我们用向量空间模型来表示文本,以词汇、概念、术语等作为向量空间模型的特征项,并根据文本中的统计信息来计算项的权重。我们尝试将WordNet应用到英文过滤系统中,使用其中的语义信息,并对消歧进行了研究;对中文系统,我们设计开发了HowNet接口并首次将其应用到中文过滤系统中,在中文过滤系统中使用HowNet概念信息使得向量维数得到大幅削减并提高了系统性能。 自适应文本过滤中的机器学习方法包括模板学习和阈值学习。我们对自适应文本过滤中的阈值调整进行了深入的研究,并在TREC10中提出了一种全新的阈值调整学习算法,该算法能使用极少的正例对自适应过滤中阈值进行快速、有效的调整。 在主题描述信息的处理方面,我们在TREC11中针对用户描述信息提出了新颖的使用winnow分类器的算法,对用户描述信息中的词汇构造winnow分类器辅助自适应过滤使得系统性能得到大幅度的提高。
【学位授予单位】:复旦大学
【学位级别】:博士
【学位授予年份】:2003
【分类号】:TP393.09

免费申请
【相似文献】
中国期刊全文数据库 前10条
1 陶惠;张妍;郝光权;;基于向量空间的文档聚类算法分析[J];电脑知识与技术;2011年20期
2 李卫东;陆玲;;融合VSM技术的PageRank算法研究与应用[J];计算机与现代化;2011年07期
3 李虎;邹鹏;贾焰;周斌;;一种基于MapReduce的分布式文本数据过滤模型研究[J];信息网络安全;2011年09期
4 申莹;徐东平;庞俊;;基于概念的中文博客情感极性聚类分析[J];计算机系统应用;2011年08期
5 潘正高;侯传宇;谈成访;;基于命名实体的Web新闻文本分类方法[J];合肥工业大学学报(自然科学版);2011年08期
6 孙桂煌;;一种基于n-gram短语的文本聚类方法研究[J];现代计算机(专业版);2011年14期
7 夏火松;刘建;;文本相似度视角下的虚拟社区评论的可信性分析[J];现代情报;2011年09期
8 孟佳娜;林鸿飞;李彦鹏;;基于特征贡献度的特征选择方法在文本分类中应用[J];大连理工大学学报;2011年04期
9 李志明;李善平;杨朝晖;林欣;;基于本体分割的本体映射算法[J];模式识别与人工智能;2011年02期
10 许志凯;徐志明;李栋;李生;;面向互联网新闻的话题检测与追踪[J];智能计算机与应用;2011年03期
中国重要会议论文全文数据库 前10条
1 黄萱菁;夏迎炬;吴立德;;基于向量空间模型的文本过滤系统[A];辉煌二十年——中国中文信息学会二十周年学术会议论文集[C];2001年
2 赵林;夏迎炬;黄萱菁;吴立德;;基于Winnow算法的文本过滤[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
3 李东林;迟呈英;战学刚;;一个改进的中文文本过滤系统的设计与实现[A];第二届全国信息检索与内容安全学术会议(NCIRCS-2005)论文集[C];2005年
4 张刚;刘挺;秦兵;车万翔;李生;;面向信息内容安全的文本过滤系统研究[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
5 王桐;刘大昕;田迪;孙伟;张万松;;一种改进的XML向量空间模型及其近似匹配算法[A];第二十三届中国数据库学术会议论文集(研究报告篇)[C];2006年
6 李虎;邹鹏;贾焰;周斌;;一种基于Map Reduce的分布式文本数据过滤模型研究[A];第26次全国计算机安全学术交流会论文集[C];2011年
7 高勇;荀恩东;宋柔;;构造自然语言问答系统平台[A];第二届全国学生计算语言学研讨会论文集[C];2004年
8 喻飞;夏晓燕;吴蓉晖;徐成;;基于向量空间模型的信息安全审计系统[A];第二十六届中国控制会议论文集[C];2007年
9 陈浩;何婷婷;代玲;;基于向量空间模型的无导词义消歧[A];第二届全国学生计算语言学研讨会论文集[C];2004年
10 李振星;徐泽平;;基于兴趣模型的WEB信息预测采集过滤方法[A];第一届学生计算语言学研讨会论文集[C];2002年
中国重要报纸全文数据库 前5条
1 清华大学计算机系智能技术与系统国家重点实验室 张敏 金奕江;寻“宝”有术[N];计算机世界;2003年
2 中国科学院计算技术研究所 王 斌;内容为王[N];计算机世界;2004年
3 记者 徐建华;“绿色上网”新标准为手机扫黄[N];中国质量报;2010年
4 记者 徐建华;网络扫黄 标准帮忙[N];中国质量报;2010年
5 本报记者 徐建华;我国着力构建绿色上网标准体系[N];中国质量报;2009年
中国博士学位论文全文数据库 前10条
1 夏迎炬;文本过滤关键技术研究[D];复旦大学;2003年
2 朱振方;基于微粒群和遗传优化的文本过滤关键技术研究[D];山东师范大学;2012年
3 刘永丹;文档数据库若干关键技术研究[D];复旦大学;2004年
4 程军;基于统计的文本分类技术研究[D];中国科学院研究生院(文献情报中心);2003年
5 孙道军;文本挖掘预处理相关基础技术分析与应用研究[D];北京邮电大学;2008年
6 邢军;领域本体构造中数据源选取及构造方法的研究[D];大连理工大学;2008年
7 杜卫锋;粗糙集理论在中文文本分类中的应用[D];西南交通大学;2006年
8 马晖男;信息检索中浅层语义模型的研究[D];大连理工大学;2007年
9 徐婕;基于对等网络的资源搜索策略的研究[D];华中科技大学;2007年
10 王修力;基于描述复杂性的信息检索理论与若干模型研究[D];北京语言大学;2006年
中国硕士学位论文全文数据库 前10条
1 孙岩国;基于Internet的中文文本过滤系统的研究与实践[D];兰州理工大学;2004年
2 董梅;文本内容的信息过滤技术研究[D];合肥工业大学;2006年
3 孙浩;基于主动学习的文本过滤系统的研究[D];北京邮电大学;2011年
4 周聚;基于网络信息审计的文本过滤的研究与实现[D];苏州大学;2010年
5 邵建双;基于概念格的文本过滤系统的设计与实现[D];大连海事大学;2010年
6 汪前秀;基于改进的VSM的不良文本过滤模型研究[D];东北财经大学;2010年
7 褚金正;面向特定领域的文本识别和分类[D];湖南大学;2005年
8 张波;个性化Web搜索系统研究[D];燕山大学;2006年
9 郭妍;基于市长公开电话文本为背景的两种自动分类算法的比较[D];东北师范大学;2006年
10 李洋;企业注册登记文件聚类软件设计与实现[D];大连理工大学;2007年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026