收藏本站
《西南大学》 2009年
收藏 | 手机打开
二维码
手机客户端打开本文

Invisible Web信息检索方法研究

刘婧  
【摘要】: 随着互联网上的信息量迅猛增加,搜索引擎在人们使用网络的过程中扮演着越来越重要的角色,几乎所有上网的人都会用到搜索引擎来查找信息。同时各搜索引擎在不断地发展,收录的网页也越来越多。但这些搜索引擎并非可以搜到互联网所有的网页,网上仍有一大部分页面普通搜索引擎搜索不到,这些网页就是“Invisible Web”,即看不见的网页。据调查研究的结果可知,Invisible Web中蕴含着大量有价值的信息,可是它们却不能被当前主流搜索引擎搜索到。因此,研究能够对Invisible Web进行搜索的技术和方法就显得很有必要且很有价值。 传统的面向Invisible Web信息的检索方式主要有两大类:目录检索和自动检索。在国外目录检索工具发展已经比较成熟,但这种检索方式查全率低,检索速度慢,不能满足用户的查询需要。而自动检索是真正地对Invisible Web进行检索,它可以将用户的检索请求同时推送到多个相关网络数据库中进行检索,而后把结果返回给用户。所以自动检索逐渐成为该领域研究的热点。 本文首先深入分析了Invisible Web产生的原因及存在的主要类型,并论述了这种信息资源的特点;然后分析了传统的检索方式检索Invisible Web存在的问题,提出将分布式技术应用于Invisible Web检索中,可以增强自动检索工具的检索能力。深入分析了分布式信息检索的基本原理和体系结构,提出了采用分布式检索方式检索Invisible Web信息的关键步骤,即:数据集合划分、数据集合选择、结果合并。重点研究了这三个关键步骤中的算法:提出一种基于自动聚类的数据集合划分算法——CBCPA算法,实验表明该算法具有很好的效果;分析了四种典型的数据集合选择方法,并对各种算法进行了综合评价,最后提出了一种改进的数据集合选择方法,即将DTF与查询驱动的选择方法相结合的方法;对经典的CORI算法和新提出的结果合并算法——回归分析与选择下载相结合的Hybrid算法的基本原理进行了讨论,并通过实验证明Hybrid算法的性能要优于CORI算法。
【学位授予单位】:西南大学
【学位级别】:硕士
【学位授予年份】:2009
【分类号】:TP391.3

【相似文献】
中国期刊全文数据库 前10条
1 程秀峰;祝颂;夏立新;;基于分布式的直方图检索方法研究及实现[J];现代图书情报技术;2011年05期
2 ;[J];;年期
3 ;[J];;年期
4 ;[J];;年期
5 ;[J];;年期
6 ;[J];;年期
7 ;[J];;年期
8 ;[J];;年期
9 ;[J];;年期
10 ;[J];;年期
中国重要会议论文全文数据库 前2条
1 何莉;林鸿飞;;基于主题划分的分布式检索混合结果合并技术研究[A];中国计算机语言学研究前沿进展(2007-2009)[C];2009年
2 何莉;林鸿飞;;分布式检索中基于主题的语言模型集合选择策略[A];2009年全国开放式分布与并行计算机学术会议论文集(下册)[C];2009年
中国重要报纸全文数据库 前3条
1 范力;清华同方建成“数图”建设管理平台[N];科技日报;2003年
2 记者 金振蓉;清华同方数字图书馆平台世界领先[N];光明日报;2003年
3 课题承担单位:湖南省博物馆 中国科学院自动化研究所 中国科学院计算机技术研究所 西安交通大学;古代建筑保护技术信息系统研发[N];中国文物报;2010年
中国博士学位论文全文数据库 前1条
1 何川;分布式信息检索中的若干重要问题研究[D];北京邮电大学;2012年
中国硕士学位论文全文数据库 前10条
1 朱晓飞;基于Z39.50的分布式检索技术在数字图书馆系统的应用研究[D];重庆大学;2007年
2 王永贵;分布式知识管理中的语义交互框架与方法研究[D];大连理工大学;2008年
3 周斌;应用于数字图书馆的分布式检索技术的研究与实现[D];国防科学技术大学;2001年
4 欧庐江;基于图像内容自动标注的海量网络图像检索[D];浙江大学;2007年
5 谢靖;数字资源集成与检索服务平台的研究与实现[D];北京邮电大学;2009年
6 李家峰;基于本体的分布式检索的研究与实现[D];沈阳工业大学;2010年
7 刘显伟;基于P2P网络的分布式军事情报检索方法与原型系统研究[D];国防科学技术大学;2010年
8 王庆恒;基于一站式数字图书馆资源整合和服务集成系统的研究与实现[D];北京邮电大学;2010年
9 何莉;基于查询扩展和主题分析的分布式信息检索[D];大连理工大学;2009年
10 洪迎春;基于本体的分布式并行检索技术研究[D];中国海洋大学;2009年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026