收藏本站
《中国科学技术大学》 2009年
收藏 | 手机打开
二维码
手机客户端打开本文

基于时态信息的主题搜索引擎的研究与实现

孙逸雪  
【摘要】: 随着互联网的迅速发展,面对这样一个全球最大的信息资源宝库,搜索引擎为人们提供了获取信息的入口,得到了极大的流行。但由于Web多元化信息的指数级增长和人们需求的多样化,通用搜索引擎返回的结果已经不能满足人们对个性化信息检索服务的要求,于是主题搜索引擎应运而生。与通用搜索不同,主题搜索引擎仅仅专注于某一领域,为特定领域的用户提供更为精确、更全面、更及时的搜索服务。它的很多技术与通用搜索引擎类似,但是还有一些自己独特的技术和一些新的需要解决问题,成为近年来研究的热点。 传统的主题搜索引擎仅支持基于关键字的搜索方式,因此在许多情况下难以有效地表达用户的查询需求,例如在新闻主题搜索引擎中查询“最近三天内关于甲型流感的新闻”。通过对网页信息的分析,时态信息是网页的一个本质属性,比如网页的修改时间、新闻网页中蕴含的新闻事件时间等。因此,如果能够利用网页的时态信息来增强主题搜索引擎的效率,使用户可以表达时态相关的查询需求,同时搜索引擎自身也提供时态查询处理能力,则可以有效地提高主题搜索引擎的性能。 本文围绕基于时态信息的主题搜索引擎开展了若干关键技术的研究,重点探讨了时态主题搜索引擎的设计与实现、主题爬虫、搜索结果的时态排序等问题。本文的主要贡献可归纳为: (1)通过分析Web结构和网页特征,提出并实现了一个混合主题爬虫。该爬虫首先对抓取下来的网页使用基于VIPS的网页分析算法计算网页与主题的相关性并选取相关链接,然后结合元搜索技术来提高爬虫跨越Web社区的能力,使其在保有精确度的同时具有好的召回率。 (2)研究了结合不同网页时间的搜索结果排序算法,提出了三种适合不同时态语义搜索的网页排序算法。这类算法分别就用户对网页的内容时间、修改时间及双时态时间的查询需求,对传统的PageRank算法中的转移概率和跳转概率进行了改进,提高了排序结果的精确性。 (3)设计并实现了一种能够根据网页的内容时间和修改时间进行Web网页检索的主题搜索引擎,该系统同时支持文本检索和时态检索。实验表明,基于时态信息的主题搜索引擎具有比单纯的基于文本关键词的主题搜索引擎具有更好的查询表达能力和查询处理能力。
【学位授予单位】:中国科学技术大学
【学位级别】:硕士
【学位授予年份】:2009
【分类号】:TP391.3

手机知网App
【相似文献】
中国期刊全文数据库 前10条
1 郑凯;;基于动态评价URL链接结构的主题爬行策略[J];福建电脑;2010年02期
2 胡晓翠;陈建勋;;对数码产品主题爬虫的设计与实现[J];计算机应用与软件;2010年02期
3 黄轩;;辛亥革命史主题爬虫的设计与实现[J];电脑知识与技术;2011年13期
4 郭庚麒;基于XML的Web数据挖掘技术[J];计算机与网络;2003年24期
5 杜欢;;主题Web信息采集技术[J];四川理工学院学报(自然科学版);2007年05期
6 李园伟;;面向高校主题搜索引擎的的爬行器设计[J];电脑知识与技术;2011年16期
7 苗长芬,冯伟华;面向主题Crawler的设计与实现[J];平原大学学报;2005年03期
8 夏崇镨;康丽;;基于叙词表的主题爬虫技术研究[J];现代图书情报技术;2007年05期
9 何晓阳;吴治蓉;杨禹道;;军事医学主题搜索引擎的设计与实现[J];情报杂志;2007年09期
10 赵善明;崔翔;杨书涛;;主题搜索引擎搜索浅析[J];才智;2008年13期
中国重要会议论文全文数据库 前1条
1 刘兵;胡学钢;;基于多链接分析的主题爬虫设计实现[A];全国第20届计算机技术与应用学术会议(CACIS·2009)暨全国第1届安全关键技术与应用学术会议论文集(上册)[C];2009年
中国博士学位论文全文数据库 前1条
1 王肃;基于多Agent的突发事件信息智能监测系统研究[D];北京邮电大学;2011年
中国硕士学位论文全文数据库 前10条
1 孙逸雪;基于时态信息的主题搜索引擎的研究与实现[D];中国科学技术大学;2009年
2 杨丹波;应用Web数据挖掘的主题元搜索引擎设计与实现[D];清华大学;2009年
3 王斐;基于增量反馈和自适应机制的主题爬虫系统的设计与实现[D];南京理工大学;2005年
4 刘朋;基于Lucene的垂直搜索引擎关键技术的研究应用[D];武汉理工大学;2009年
5 白毅;古建主题搜索引擎研究[D];北京化工大学;2008年
6 张正龙;基于LUCENE的主题搜索引擎研究与实现[D];重庆大学;2008年
7 李东升;主题搜索引擎研究[D];哈尔滨工程大学;2005年
8 李东海;基于Nutch技术的主题搜索引擎实现[D];吉林大学;2008年
9 海涛;垂直搜索引擎数据采集技术的研究与实现[D];华北电力大学(北京);2008年
10 徐传运;基于主题相关的P2P全文搜索引擎的研究[D];重庆大学;2006年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026