收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

面向搜索引擎的自然语言处理关键技术研究

李莎莎  
【摘要】:随着网络技术的飞速发展,互联网上的信息资源越来越庞大,用户越来越难以准确快捷地获取所需信息,从而产生了所谓的信息焦虑。互联网搜索引擎以其基于关键词匹配的信息检索机制为用户在瞬间搜寻出所需的相关信息,成为缓解人们信息焦虑最为有效的工具。目前,搜索已成为互联网上的一种日常活动,并带来了巨大的商机。然而,面对网络上越来越多样化的信息,基于关键字查询的搜索引擎存在和凸显出如下主要的缺点:难以构造出准确表达用户需求的查询请求,返回结果冗余甚至无用信息多,查询主观性信息的性能低下。为了最大程度地满足用户需求,面向人性化、智能化、个性化的第三代搜索引擎技术应运而生,并得到了广泛关注。 近年来,随着搜索由基于关键字层面向基于知识层面转化,面向搜索引擎的自然语言处理技术逐渐成为新的研究热点,其研究的主要关注点在于:更好地理解用户的查询意图,更准确地推荐相关查询请求,返回更相关的查询结果,更好地筛选和组织查询结果等,力求提供更智能化、更人性化的人机交互,辅助用户更加便捷地找到想要的信息。本文在相关的查询推荐、查询意图识别、查询理解、重用问题答案库时的答案摘要等方面进行了深入而细致的研究。本文工作的主要贡献和创新点总结如下: 1.研究基于比较关系的查询推荐,并提出一种弱监督的从比较性问题中挖掘比较对象的方法 通常的查询推荐(Query Suggetion)都是推荐与用户初始查询请求相关的查询请求,例如,在用户搜索ipod touch时,搜索引擎推荐ipod touch break prison。然而,在不同的搜索场景下,用户所需要的相关查询是不同的。例如,在购买商品的产品搜索场景下,当用户搜索你Nikon d200时,用户往往想要了解该产品的相关信息,并将其与同类产品作比较,从而做出购买决策。这时,推荐Cannon 300d并提供两者之间的对比信息,将有利于用户尽快做出购买决策。当然, nokia d200 lens也是有用的推荐,然而相比之下,类似Cannon 300d的查询推荐,往往需要用户具有一定的知识储备,对同类产品有一定了解,这也往往是用户最为缺乏的知识,用户对此类推荐的需求更为迫切。由此可见,将用户初始查询请求的相关查询请求按其与初始查询请求的语义关系进行分类,根据搜索场景的不同给予不同类别的查询推荐,将使得搜索引擎更加个性化、智能化。由于比较备选方案是人们的日常决策行为中至关重要的一个步骤,本文针对用户比较行为这一搜索场景,提出基于用户查询请求的可比较对象的查询推荐。 由于用户比较行为的主观性和复杂性,判断两个对象的可比性是困难的。幸运的是,互联网上有网络用户产生的大量意图比较两个或多个对象的比较性问题,这些比较性问题提供了人们想比较什么的证据,例如Which to buy, iPod or iPhone?。在本文中,比较性问题中用于进行比较的对象被称为比较对象,例如上述例句中的iPod和iPhone。 为了从比较性问题中挖掘比较对象,本文首先需要识别一个问题是否是比较性问题。根据本文的定义,一个比较性问题必须是一个意在比较至少两个对象的问题。值得注意的是,包含两个对象的问题如果不包含比较的意图就不是比较性问题。但我们观察到:如果一个问题包含两个可比较对象,则该问题极有可能是比较性问题。本文利用这一点设计了一个弱监督的自举(bootstrapping)方法,可以在识别比较性问题的同时,抽取比较对象。 据我们所知,这是第一个意图通过推荐好的比较对象以支持网络用户的比较行为的研究。也是第一次提出使用网上的比较性问题作为媒介来反映用户真实关心的比较对象。本文提出的弱监督方法的F1-measure在比较性问题识别上达到82.5%,在比较对象抽取上达到83.3%,在从比较性问题识别到比较对象抽取的整体系统上达到76.8%。 2.利用对象之间的比较关系,提出一种基于图聚类的用户意图识别方法,并建立针对用户比较行为的比较搜索系统。 基于关键字查询的搜索引擎中,用户往往只能使用有限数量的词汇来抽象和概括他们的需求。在用户将其需求抽象成有限的查询关键字的过程中,部分有用信息被丢失,从而导致用户查询意图不慎清晰。目前,搜索引擎搜索的结果通常是满足用户各种查询意图的文档的合集,用户需要阅读大量相关文档才能获得自己确实所需的信息。因此,在对用户的查询请求进行搜索之前,尽可能确定用户的查询意图,并进行面向用户查询意图的搜索将有利于更准确地找到用户想要的信息。 如上所述,通常一个由一个或多个查询关键字组成的用户查询请求可能出于多种不同的意图。举个最经典的例子,当用户查询apple时,可能是查询一种水果,也可能是查询一种电子产品的品牌。而apple作为电子产品品牌时,用户可能想要查询apple的产品,也可能想要查询apple的网点分布。如果用户想要购买apple的产品,比如用户输入apple itouch ,有可能是想搜索产品介绍,有可能是想看不同网站的价格比较,还有可能是想看该产品与其它同类产品的比较。即使我们确定用户查询的意图是想要将apple itouch与其它产品相比较,用户还可能想比较产品的不同方面。比如,从产品升级的角度,用户可能想将其与ipod classic , iphone相比较;从娱乐功能性的角度,用户可能想将其与psp相比较等。可见,确切地理解用户的意图并不是件简单的任务。 本文主要关注用户的比较行为,针对用户的查询请求,利用与其可比较的对象之间的比较关系,提出一种基于图聚类的用户意图识别方法,每个可能的用户意图由一组用户查询请求的可比较对象表示。利用信息抽取的方法,本文给识别出的每个用户意图赋予一个语义标签。实验证明,本文提出的用户查询意图识别算法的准确率达到92.7%以上。另外,本文还建立了一个基于用户比较意图识别的比较搜索系统,该系统在识别用户查询请求的不同比较意图的同时,还提供了不同的比较意图下,用户查询请求与相应的可比较对象的比较信息。 3.研究面向开放域的查询理解,针对由多个查询关键词组成的复杂查询请求,提出一种无监督的基于查询模板的查询理解方法 在搜索引擎中,用户的查询请求除了单个实体或对象(如Obama)以外,还存在大量的由多个查询关键词组成的复杂查询请求,例如flight from Beijing to New York。这些查询多是面向任务的,并要求得到精确的答案(如0:00, Nov.19th, 2010 )。在现有的搜索引擎中,用户通常要进行如下操作:首先,检索相关网页或在线数据库;然后,通过逐一阅读相关网页或向相关的在线数据库提交数据库检索请求以寻找所需信息。为了简化这一繁琐的过程,研究者们提出了结构化检索。而查询理解是结构化检索的至关重要的一步。具体来说,本文所指的查询理解包括识别和消歧复杂查询中的查询关键字两个步骤。例如,给定查询harry potter showtime in beijing ,本文先识别查询词harry potter , showtime ,beijing (即查询关键字识别);然后分辨每个查询词的含义并分别标记,这里harry potter被标记为movie name , beijing被标记为city ,而showtime是电影的一个属性(即查询关键字词义消歧)。 本文主要关注如何在开放域的环境下理解用户的复杂查询请求:首先,利用现有技术自动创建一个语义词典;然后,尝试使用自动创建的语义词典进行开放域查询理解,即查询关键词识别与消歧。在本文的问题设定中,我们致力于解决以下两个问题: 1)自动创建的语义词典无论在语义标签还是词或词组实例中都包含很多噪音,这些噪音将严重降低查询理解的性能。 2)在开放域环境中,大量的语义标签是必需的。这使得以前用于处理有限数目的语义标签的基于序列标注技术的查询理解方法不再适用。 为了解决以上问题,本文提出一种基于查询模板的查询理解方法。该方法先利用一个无监督的互增强的算法挖掘查询模式;然后基于挖掘到的查询模式和语义词典进行查询关键字识别及消歧。据我们所知,本文的研究是第一个利用自动创建的语义词典进行查询理解的尝试。 4.研究社区问答服务的知识重用中答案完备性问题,提出了一种基于词的依赖层次的面向问题的答案摘要方法。 传统的搜索引擎在面对一些复杂问题的查询时,其查询结果往往差强人意,例如how to recover my doc file?或what is the best smart phone?。这些复杂问题通常需要人的经验或意见的参与,答案因人而异或因情况而异,没有唯一正确答案。而目前,社区问答服务的出现,为解决这一问题提供了新的资源。如何重用社区问答服务中积累的问题答案知识提高复杂问题查询的满意度成为该研究的一个研究热点。但是,目前的研究主要集中在评测社区问答服务积累的答案的准确性上,对于答案的完备性没有涉及。事实上,由于复杂问题的正确答案往往并不唯一,提供汇总了不同情况下不同个人的回答的完备答案对提高搜索满意度也是至关重要的。 本文尝试对一种特殊的问题——调研问题(survey questions)——进行答案摘要,以提高社区问答服务中可重用问题的答案的完备性。调研问题是指请求回答问题的用户推荐针对某种需求的最佳选择的问题。显然,对调研问题而言,答案的完整性至关重要,因为一方面不同的用户可能对不同的建议感兴趣,另一方面某个答案被推荐的次数也反映了该答案的值得推荐指数。 据我们所知,本文最先指出在社区问答服务的知识重用中答案完备性的重要性。同时,这也是第一个关注调研问题的研究,调研问题作为面向意见的问题中一种有趣的类型,问题的完整性对其而言至关重要。除此之外,本文推荐使用面向问题的答案摘要方式产生完整的答案。本文提出一种有效的建立词与词之间语义依赖性的层次结构的方法,并利用建立的层次结构进行面向问题的答案摘要,从而基于社区服务中用户提供的所有已有答案生成一个完整简洁的答案。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 陈敏杰;;问答系统中问题分析模块的实现[J];经营管理者;2009年13期
2 詹卫东;;自然语言的自动分析与生成简介[J];术语标准化与信息技术;2010年04期
3 闫琪,张志伟,宁洪;用户搜索请求中限定成分的识别及提取[J];计算机工程与科学;2000年03期
4 左远清,周洞汝,王波;自然语言处理在搜索引擎信息检索中的应用[J];现代计算机;2002年07期
5 刘亚军,徐易,高莉莎;提高IQAS查询速度的一种方法[J];计算机工程与应用;2004年11期
6 杜波,田怀凤,王立,陆汝占;基于多策略的专业领域术语抽取器的设计[J];计算机工程;2005年14期
7 傅立云;刘新;;基于词典的汉语自动分词算法的改进[J];情报杂志;2006年01期
8 卢志茂;刘挺;李生;;统计词义消歧的研究进展[J];电子学报;2006年02期
9 贾君枝;邰杨芳;;FrameNet的语义类型研究[J];情报理论与实践;2007年05期
10 张莉;刘雅举;李东明;侯晨伟;;中文问句分类系统的分析[J];科技情报开发与经济;2007年25期
11 程彩虹;王惠临;解国栋;;基于潜在语义分析的自动词法学习技术[J];情报理论与实践;2008年05期
12 李波;邱锡鹏;曹均阔;;查询扩展在开放领域问答系统中的应用[J];计算机应用与软件;2009年07期
13 马连刚;夏克俭;;中医方剂与图集的转换的设计与实现[J];网络安全技术与应用;2010年02期
14 仲夏;张志平;王惠临;;词汇化树邻接语法研究述评及中文应用初探[J];现代图书情报技术;2010年05期
15 麦范金;岳晓光;赵子强;路英;王挺;岳砥柱;;基于自然语言处理的智能评分系统[J];桂林理工大学学报;2010年03期
16 朱译翔;;中文名词性谓词的语义角色标注的研究[J];福建电脑;2010年09期
17 刘一宁;;学术定义抽取研究综述[J];情报探索;2011年08期
18 邵品洪;自然语言处理在情报检索中的应用[J];现代图书情报技术;1994年03期
19 吕西安·马尔柰夫,保尔·若利昂;简论自然语言处理的连接网络法[J];中文信息学报;1997年02期
20 张琳琳,宋继平,王能忠;基于核心推导的句法分析[J];西南师范大学学报(自然科学版);1997年03期
中国重要会议论文全文数据库 前10条
1 支流;段慧明;朱学锋;俞士汶;;中文缩略语知识库建设[A];第三届学生计算语言学研讨会论文集[C];2006年
2 白刚;张铮;丁宗尧;朱毅;;中文文本聚类在互联网搜索的研究与应用[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
3 刘群;张浩;白硕;;中文信息处理开放平台的设计[A];第一届学生计算语言学研讨会论文集[C];2002年
4 支流;朱学锋;段慧明;俞士汶;;中文缩略语还原技术初探[A];全国第八届计算语言学联合学术会议(JSCL-2005)论文集[C];2005年
5 刘开瑛;由丽萍;;汉语框架语义知识库构建工程[A];中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集[C];2006年
6 郑家恒;谭红叶;王兴义;;基于模式匹配的中文专有名词识别[A];民族语言文字信息技术研究——第十一届全国民族语言文字信息学术研讨会论文集[C];2007年
7 葛诗利;陈潇潇;;中国EFL学习者自动作文评分探索[A];第三届学生计算语言学研讨会论文集[C];2006年
8 宋柔;;自然语言处理中语言知识的基础性地位[A];民族语言文字信息技术研究——第十一届全国民族语言文字信息学术研讨会论文集[C];2007年
9 杨丽鹏;林世平;;基于关联规则和自然语言处理技术的概念间非分类关系的抽取[A];2008通信理论与技术新进展——第十三届全国青年通信学术会议论文集(上)[C];2008年
10 孙玉芳;;中文信息处理与国家信息化建设[A];面向21世纪的科技进步与社会经济发展(上册)[C];1999年
中国博士学位论文全文数据库 前10条
1 卢延鑫;基于自然语言处理技术的循证医学信息提取研究[D];复旦大学;2011年
2 李良炎;基于词联接的自然语言处理技术及其应用研究[D];重庆大学;2004年
3 代印唐;基于语义网络的知识协作关键技术研究[D];复旦大学;2009年
4 王立欣;翻译标准自动量化方法研究[D];上海外国语大学;2007年
5 李莎莎;面向搜索引擎的自然语言处理关键技术研究[D];国防科学技术大学;2011年
6 周雅倩;最大熵方法及其在自然语言处理中的应用[D];复旦大学;2005年
7 易勇;计算机辅助诗词创作中的风格辨析及联语应对研究[D];重庆大学;2005年
8 谢学敏;基于动态流通语料库(DCC)的流行语释义信息自动提取研究[D];北京语言大学;2006年
9 屈刚;英汉双语短语对齐[D];上海交通大学;2007年
10 方宁;基于认知的文本语境生成和度量研究[D];上海大学;2009年
中国硕士学位论文全文数据库 前10条
1 全昌勤;基于语料库的汉语词义消歧方法研究[D];华中师范大学;2005年
2 张峰;基于自然语言处理的自动文摘系统[D];电子科技大学;2006年
3 丁卓冶;中文命名实体识别的研究[D];大连理工大学;2008年
4 孙继明;基于知网的汉语词义消歧研究[D];国防科学技术大学;2007年
5 孙广庆;基于语义范畴扩展的词义消歧的研究[D];哈尔滨工程大学;2008年
6 侯丽敏;基于网络的智能答疑系统的研究与实现[D];河南大学;2005年
7 崔昌利;俄语简单句述谓VP的模式化及自动识别[D];黑龙江大学;2005年
8 赵城利;基于Web的信息智能感知技术及应用[D];国防科学技术大学;2004年
9 张学;EBMT系统中翻译模板的抽取与匹配[D];大连理工大学;2006年
10 巩晓婷;基于文本的信息隐藏技术研究[D];福州大学;2006年
中国重要报纸全文数据库 前10条
1 本报记者 姜靖;张全:给网络装上“电子眼”[N];科技日报;2009年
2 本报记者 祝蕾 见习记者 许凯;李晓戈:努力缩小国内外数字“鸿沟”[N];济南日报;2010年
3 金利;东北大学自然语言处理实验室形成特色[N];科技日报;2007年
4 小柯;张全:网络环境“清洁师”[N];广东科技报;2009年
5 何清 史忠植 王伟;搜索引擎的前沿技术[N];计算机世界;2006年
6 沈建缘;洪小文:时尚科学家[N];经济观察报;2009年
7 记者 刘传书;微软在深圳设实验室[N];科技日报;2006年
8 郑昊;数据挖掘加工海量数据[N];中国计算机报;2007年
9 ;开天辟地第一回[N];计算机世界;2002年
10 刘洁;SAS分析产品链增添“新成员”[N];科技日报;2008年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978