收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

词搭配抽取及在信息检索中的应用研究

林建方  
【摘要】: 搭配描述的是词与词之间组合在一起表达某种特殊含义的词汇现象,在词和短语之间架起了一个桥梁,是语言信息处理链条上重要的一环。随着统计机器学习和自然语言处理技术的发展,基于大规模语料库知识的自动获取成为趋势。建立高质量的单语和双语搭配词汇知识资源不仅对语言本体研究有着重要的理论意义;在自然语言处理应用领域,如机器翻译、信息检索及跨语言信息检索等也有着广泛的应用前景。 信息抽取是从文档中自动获取信息的一种重要手段,搭配抽取涉及的是单词之间的关系抽取,是信息抽取的一项子任务。本文借鉴信息抽取中常用算法和统计机器学习模型,通过多种统计量融合和多分类器融合的方法进行单词之间的搭配抽取。并将获取的单语和双语搭配应用于信息检索中的查询扩展和查询翻译,提高最终检索性能。 具体来讲,本文主要从以下几方面做了研究: 1.提出基于多统计量融合与多分类器融合的搭配抽取方法。目前的方法都是基于单一词汇关联方法的,没有考虑每一种方法的优缺点和适用范围,本论文提出一种基于线性回归模型的搭配抽取方法,融合了五种经典统计关联方法,包括互信息、共现频率、t检验、χ2检验、对数似然比检验,充分融合实现优势互补。数据来自Web反馈信息,根据候选搭配及构成词在谷歌出现的页面数模拟在语料库出现的次数。同时针对多统计量融合对于某些类型搭配的缺陷,提出多分类器融合的策略。本文主要研究异态学习模型,融合的模型来自三种不同的分类器算法,包括支持向量机、最大熵和条件随机域,融合策略使用投票法和线性加权方法。 2.提出一种英汉双语搭配翻译模型。英语和汉语两种语言之间,有这样的假设,相同的依存句法关系之间存在着强烈的相互对应关系。本论文借鉴统计机器翻译模型,提出一种双语搭配翻译模型。分别通过词对齐级的双语语料库和单语语料库训练统计翻译模型和目标语言模型,这种充分利用单语语料库和双语语料库的双语搭配翻译模型获得良好的性能。 3.研究了词搭配关系应用于信息检索的查询扩展中。传统的查询扩展方法都是通过单词之间共现关系或WordNet词典关系的,本论文选择同时具有语义和句法关系的搭配单词进行查询扩展。在传统语言模型框架下扩展查询模型,借鉴了局部上下文分析技术,同时结合了语言学知识和统计信息。在一定程度上可以弥补用户查询信息不足的缺陷,实验结果表明可以大大提高检索性能。 4.研究了双语搭配应用于跨语言信息检索的查询翻译中。基于双语字典的查询翻译策略目前是跨语言信息检索主流方法,但容易出现两类问题:一为译词选择歧义问题;二是词典覆盖率问题,再大的词典也不可能收录所有的翻译选项。针对第一类问题本文分别提出了双语衰减共现模型和双语搭配翻译模型两种统计方法。前者在传统的共现方法中引入距离位置因子,着重考虑单词间的关联程度随着间距而变化;后者将搭配关系融入到跨语言的查询翻译中。针对未登录词(OOV)翻译,本论文提出一种基于Web反馈数据的OOV识别方法。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 叶鹰,马景娣,黄晨,朱聪,胡晓珍,刘琼;信息检索网上自助教学探索[J];大学图书馆学报;2000年02期
2 李慧敏,方敏,张雪梅;高校信息检索教育课教学改革构想[J];山东图书馆季刊;2001年02期
3 吴良凯;大学生信息检索教育的现状与对策[J];图书馆论坛;2003年05期
4 罗映红;基于网络的信息检索与信息检索能力的培养[J];高校图书馆工作;2004年02期
5 李其港;对高职信息检索课程教学改革的构思[J];职教论坛;2004年23期
6 李宙星;;浅析互联网信息超载[J];中国西部科技;2004年16期
7 陈璐;;亚马逊网络书店的信息检索[J];图书馆研究与工作;2004年04期
8 赖俊;周琳;张学平;;基于Web挖掘的主题式搜索引擎的设计[J];军事通信技术;2004年03期
9 王雅戈;Openfind搜索引擎功能解析[J];江西图书馆学刊;2005年02期
10 彭波,闫宏飞;搜索引擎检索系统质量评估[J];计算机研究与发展;2005年10期
11 王国金,康耀红;基于布尔检索策略的问答系统性能研究[J];科技广场;2005年10期
12 白菊平;;探讨提高中文文献信息检索质量的相关技术[J];农业图书情报学刊;2005年12期
13 刘俊熙;吴英;;信息检索和网络数据挖掘技术的比较分析[J];图书馆学刊;2005年06期
14 李雷;;常用医学搜索引擎简介[J];西北医学教育;2005年05期
15 韩梅;宁锐;;Google搜索引擎研究新进展[J];大学图书情报学刊;2006年01期
16 刘俊凤;;语义Web环境下基于Ontology的信息检索研究[J];情报科学;2006年04期
17 张选平;蒋宇;袁明轩;马琮;梁平;;一种基于概念的信息检索查询扩展[J];微电子学与计算机;2006年04期
18 王裕芳;;双语教学在“检索课”中的应用与探讨[J];江西图书馆学刊;2006年02期
19 刘策;;垂直搜索——电子商务领域的新秀[J];软件导刊;2006年11期
20 王博;徐宽;;网格技术在信息检索中的应用前景分析[J];图书馆学研究;2006年05期
中国重要会议论文全文数据库 前10条
1 孙金立;李路路;王栋;;生物信息检索教学网的建设[A];向数字化转型的图书馆工作[C];2004年
2 姚树宇;赵少东;;一种使用分布式技术的搜索引擎[A];2005年全国开放式分布与并行计算学术会议论文集[C];2005年
3 孙金立;李路路;董明强;;建立生物信息检索教学网的研究[A];中华医学会第十次全国医学信息学术会议论文汇编[C];2004年
4 ;编者的话[A];第二届全国信息检索与内容安全学术会议(NCIRCS-2005)论文集[C];2005年
5 米晓红;;一种基于LSI的用户兴趣模型构建方法[A];计算机技术与应用进展——全国第17届计算机科学与技术应用(CACIS)学术会议论文集(上册)[C];2006年
6 王敬成;;HNC农村智能信息检索系统[A];2006年首届ICT大会信息、知识、智能及其转换理论第一次高峰论坛会议论文集[C];2006年
7 李应兴;付婷;李勇;;基于LUCENE的藏文信息检索的研究与应用[A];民族语言文字信息技术研究——第十一届全国民族语言文字信息学术研讨会论文集[C];2007年
8 于志刚;杨金生;;农业机械网络书签[A];第十三次全国农机维修学术会议论文集[C];2007年
9 ;前言[A];第四届全国信息检索与内容安全学术会议论文集(下)[C];2008年
10 田田;马军;李跃军;;应用多本体进行信息检索的研究[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
中国博士学位论文全文数据库 前10条
1 王彪;信息检索中信息需求域的研究[D];内蒙古大学;2012年
2 左家莉;信息检索中Markov网络图模型研究[D];江西财经大学;2011年
3 吴定峰;基于本体的语义搜索模型研究[D];中国农业科学院;2012年
4 董道国;高维数据索引结构研究[D];复旦大学;2005年
5 林建方;词搭配抽取及在信息检索中的应用研究[D];哈尔滨工业大学;2010年
6 翟海军;面向Web信息检索的知识挖掘[D];中国科学技术大学;2010年
7 郭永明;XML文档交互式信息检索技术研究[D];东华大学;2010年
8 林古立;互联网信息检索中的多样化排序研究及应用[D];华南理工大学;2011年
9 刘云峰;基于潜在语义分析的中文概念检索研究[D];华中科技大学;2005年
10 汪志鹏;私有信息检索技术研究[D];华中科技大学;2013年
中国硕士学位论文全文数据库 前10条
1 乔智勇;Web数据挖掘系统的设计及关键技术研究[D];西安电子科技大学;2002年
2 杨才峰;基于自动分类的元搜索引擎的研究与应用[D];华北电力大学(河北);2005年
3 郭磊;P2P系统中的信息检索理论及应用研究[D];山东师范大学;2011年
4 宋海林;基于语言模型的信息检索中负反馈技术的研究与实现[D];内蒙古大学;2011年
5 管玉娟;基于智能Agent的个性化信息检索技术研究[D];西安建筑科技大学;2005年
6 杭月芹;基于文档查询信息的检索系统研究与实现[D];扬州大学;2005年
7 刘壁松;策略可扩展的搜索引擎研究和实现[D];清华大学;2005年
8 史锦荣;基于多Agent智能搜索引擎模型研究[D];太原理工大学;2005年
9 胡小睿;基于Web挖掘的搜索引擎技术研究[D];武汉大学;2005年
10 吴媛媛;移动终端上个人信息检索核心子系统的设计与实现[D];北京邮电大学;2011年
中国重要报纸全文数据库 前10条
1 希安;微软试水信息检索[N];经济日报;2004年
2 叶静;开辟信息检索的新天地[N];人民邮电;2001年
3 本报记者 潘永花;组件化平台提升信息检索效率[N];网络世界;2003年
4 刘静一;个人档案信息检索[N];建筑报;2000年
5 刘光强;搜索个人、企业、垂直三大搜索新进展[N];中国计算机报;2007年
6 柏荣;国家973项目在因特网大规模信息检索领域取得突破[N];中国高新技术产业导报;2003年
7 刘立新;信息社会技术前瞻[N];学习时报;2006年
8 常燕杰;商用搜索 须打智慧牌[N];中国计算机报;2006年
9 微软中国研究院 陈正 李明镜 马维英;互联网上图像信息检索[N];计算机世界;2001年
10 夏飞平 蒋光君;深圳局:信息检索实现“一点通”[N];中国国门时报;2009年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978