收藏本站
《浙江大学》 2005年
收藏 | 手机打开
二维码
手机客户端打开本文

搜索引擎中的数据存储问题研究

何华  
【摘要】:随着互联网(Internet)的出现和普及,人们的信息来源得到极大的丰富,获取信息的方式也随之改变。互联网成为人们获取信息的主要来源之一。在Web信息以几何级数增长的情况下,如何快速获取所需信息成为研究热点之一。搜索引擎技术(Search Engine)就是在这种背景下孕育而生。 搜索引擎是传统的信息检索(Information Retrival)技术与Web结合的产物。 传统的信息检索技术是从一定规模的文档库中获取用户需要的信息,其核心是文本信息的索引和检索,检索主要采用传统目录方式和全文检索方式。在信息规模不大的情况下,传统的信息检索技术能够满足需求。在面对Internet 上分散存储、动态变化的海量数据,传统信息检索技术无法让用户快速找到所需要的信息。 搜索引擎作为传统IR技术在Web上的扩展,涉及至数据收集、中文分词技术、倒排索引、隐含数据获取、分布式结构、海量数据存储、用户行为分析等关键技术。从功能上看,搜索引擎主要由信息采集、索引、查询三部分构成。搜索引擎首先通过信息采集器(Crawler)从Internet采集网页数据,然后通过索引器(Indexer)对采集数据进行分析,并建立索引。检索器(Searcher)负责接受用户查询请求,通过索引找到所有相关网页,排序后返回给用户。 搜索引擎在工作过程中,主要处理的数据有:网页数据、索引数据及URL数据,不同类型的数据在数据容量、更新周期等方面有不同的特点,如何实现对这些数据高效的存储管理是搜索引擎的核心技术之一,也是本文的主要研究对象。 本文首先介绍了Web搜索引擎的基本概念和研究现状,阐述了搜索引擎的体系结抅和关键技术;然后分析了搜索引擎的数据存储管理中要处理的主要数据类型及其特点,研究了其他搜索引擎中数据存储的实现,提出了不同的存储支持方案;最后详细描述了一种具体的数据存储系统WDB的实现,并使用WDB实现Crawler的数据存储。
【学位授予单位】:浙江大学
【学位级别】:硕士
【学位授予年份】:2005
【分类号】:TP391.3

【引证文献】
中国硕士学位论文全文数据库 前6条
1 何东彬;基于RDBMS的XML文档检索技术研究与实现[D];内蒙古大学;2006年
2 陈海波;基于自动分词的企业文档搜索引擎设计与实现[D];西北工业大学;2007年
3 陈小峰;专业搜索引擎的数据存储研究[D];南京师范大学;2007年
4 胡晓博;面向特定领域的专业搜索引擎的架构与实现方法[D];哈尔滨工程大学;2007年
5 沈坚;一种专题式搜索引擎Spider的设计与实现[D];北京化工大学;2008年
6 杜超利;时空要素驱动的事件网页信息检索方法研究[D];南京师范大学;2013年
【参考文献】
中国期刊全文数据库 前1条
1 庄毅,黎浩宏;搜索引擎技术现状及发展动向[J];计算机时代;2002年08期
【共引文献】
中国期刊全文数据库 前10条
1 查志华;李伟;;搜索引擎的技术现状及发展趋势[J];兵团教育学院学报;2006年03期
2 赫枫龄,左万利;利用超链接信息改进网页爬行器的搜索策略[J];吉林大学学报(信息科学版);2005年01期
3 王伊明,蔡鸿明;基于Oracle复制的针对结构化数据的搜索引擎功能的实现[J];东华大学学报(自然科学版);2005年04期
4 叶允明,于水,马范援,宋晖,张岭;分布式Web Crawler的研究:结构、算法和策略[J];电子学报;2002年S1期
5 吴永辉;王晓龙;丁宇新;徐军;郭鸿志;;基于主题的自适应、在线网络热点发现方法及新闻推荐系统[J];电子学报;2010年11期
6 徐小龙;王汝传;;基于智能Agent的多维权值信息检索模型[J];电子与信息学报;2008年02期
7 许笑;张伟哲;张宏莉;方滨兴;;广域网分布式爬虫中的Agent协同与Web划分研究[J];高技术通讯;2010年03期
8 黄皓凌;张凡;;6搜-高效的专用IPv6搜索引擎[J];电子设计工程;2011年23期
9 刘彤彤;伍小芹;;融入权威性与相关性的PageRank算法[J];信息技术;2008年11期
10 郭来德;刘辉林;刘兰哲;王光兴;;农业信息搜索引擎设计与实现[J];河北工程大学学报(自然科学版);2007年03期
中国重要会议论文全文数据库 前5条
1 彭亮;卓新建;黄玮;范文庆;;基于网络爬虫的XSS漏洞扫描系统的设计与实现[A];第十三届中国科协年会第11分会场-中国智慧城市论坛论文集[C];2011年
2 吴丽辉;张凯;张刚;王斌;;天罗Web信息采集系统中的性能优化[A];第二届全国信息检索与内容安全学术会议(NCIRCS-2005)论文集[C];2005年
3 张凯;李魁;张刚;王斌;;基于站点的Web信息采集器研究[A];第二届全国信息检索与内容安全学术会议(NCIRCS-2005)论文集[C];2005年
4 刘莉;肖诗斌;王涛;施水才;;基于RSS的分布式博客搜索引擎设计[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
5 刘宝良;李建中;;crlib:可交互异构Crawler框架的设计与实现[A];第二十届全国数据库学术会议论文集(技术报告篇)[C];2003年
中国博士学位论文全文数据库 前10条
1 张长利;面向特定领域的互联网舆情分析技术研究[D];吉林大学;2011年
2 王修君;高效数据流和海量文本处理算法研究[D];中国科学技术大学;2011年
3 吴超;信息检索中top-k问题的并行算法及优化研究[D];中国科学技术大学;2011年
4 李常宝;基于索引的web服务发现研究[D];北京邮电大学;2011年
5 吴永辉;面向专业领域的网络信息采集及主题检测技术研究与应用[D];哈尔滨工业大学;2010年
6 许笑;分布式Web信息采集关键技术研究[D];哈尔滨工业大学;2011年
7 寇月;Deep Web实体搜索的关键技术研究[D];东北大学;2009年
8 贾自艳;Web信息智能获取若干关键问题研究[D];中国科学院研究生院(计算技术研究所);2004年
9 吴丽辉;个性化的Web信息采集技术研究[D];中国科学院研究生院(计算技术研究所);2005年
10 王辉;基于质心具有增量性质的主题爬行[D];吉林大学;2007年
中国硕士学位论文全文数据库 前10条
1 翁岩青;网页抓取策略研究[D];哈尔滨工程大学;2010年
2 王思丽;藏文网页自动发现与采集技术研究[D];西北民族大学;2010年
3 王晓地;Web信息采集技术研究与实现[D];华南理工大学;2010年
4 史炜;个性化搜索引擎的研究与设计[D];电子科技大学;2010年
5 陶小波;电子就业文本挖掘系统关键技术研究与应用[D];浙江工商大学;2011年
6 戚学磊;基于Lucene的站内搜索引擎技术的研究与应用[D];太原理工大学;2011年
7 李恒训;网络论坛采集及热点话题发现研究[D];首都师范大学;2011年
8 杨华;网络信息动态采集策略的研究及应用[D];河北科技大学;2011年
9 李莎莎;增量式Web信息采集与信息提取系统的研究与实现[D];武汉理工大学;2011年
10 孙文婷;基于语义的网上股评信息的提取研究[D];武汉理工大学;2011年
【同被引文献】
中国期刊全文数据库 前10条
1 雷鸣,王建勇,赵江华,单松巍,陈葆珏;第三代搜索引擎与天网二期[J];北京大学学报(自然科学版);2001年05期
2 欧歌,赵恒永;一种专题Web信息采集系统的设计方案[J];电脑与信息技术;2004年06期
3 孙立伟;何国辉;吴礼发;;网络爬虫技术的研究[J];电脑知识与技术;2010年15期
4 王峰;雷葆华;;Hadoop分布式文件系统的模型分析[J];电信科学;2010年12期
5 彭波,李晓明;搜索引擎倒排文件的一种分块组织技术[J];电子学报;2005年02期
6 王坚,赵恒永;专业搜索引擎中文分词算法的实现与研究[J];福建电脑;2005年07期
7 徐永东;徐志明;王晓龙;刘远超;;中文文本时间信息获取及语义计算[J];哈尔滨工业大学学报;2007年03期
8 王德峰;李东;;搜索引擎Google的体系结构及其核心技术研究[J];哈尔滨商业大学学报(自然科学版);2006年01期
9 文坤梅,卢正鼎,叶卫国,金莉;搜索引擎中页面更新策略的分析与改进[J];华中科技大学学报(自然科学版);2002年12期
10 马红妹,王挺,陈火旺;汉语篇章时间短语的分析与时制验算[J];计算机研究与发展;2002年10期
中国博士学位论文全文数据库 前4条
1 杨尔弘;突发事件信息提取研究[D];北京语言大学;2005年
2 乐小虬;非结构化网络空间信息智能搜索与服务研究[D];中国科学院研究生院(遥感应用研究所);2006年
3 丁国栋;基于统计语言建模的信息检索及相关研究[D];中国科学院研究生院(计算技术研究所);2006年
4 李晗静;基于自然语言处理的空间概念建模研究[D];哈尔滨工业大学;2007年
中国硕士学位论文全文数据库 前10条
1 潘胜一;基于倒排索引的压缩算法性能研究[D];杭州电子科技大学;2009年
2 杨宸铸;基于HADOOP的数据挖掘研究[D];重庆大学;2010年
3 李勇君;基于Hadoop的海量期货数据的分布式存储和算法分析[D];天津大学;2012年
4 李正文;基于SVM分类算法的主题爬虫研究[D];哈尔滨工程大学;2011年
5 张驰;Web信息获取技术研究与实现[D];西北工业大学;2001年
6 刘峰;通用中英文专业搜索引擎技术的研究及应用[D];大连理工大学;2004年
7 王亮;搜索引擎及其相关性排序研究[D];武汉大学;2004年
8 陈鑫;中文智能搜索引擎[D];四川大学;2004年
9 陈伟雄;基于元搜索的中文搜索引擎研究与实现[D];清华大学;2004年
10 刘兴宇;基于倒排索引的全文检索技术研究[D];华中科技大学;2004年
【二级引证文献】
中国期刊全文数据库 前3条
1 方跃胜;董辉;姚宏亮;;多格式文档搜索引擎索引系统设计与实现[J];长江大学学报(自然科学版);2012年07期
2 齐鹏;张俊;李冠宇;;基于本体的垂直搜索引擎分类索引模型设计[J];计算机工程与设计;2010年23期
3 方跃胜;姚宏亮;;法律搜索引擎索引系统同步模块的设计与实现[J];计算机技术与发展;2011年03期
中国硕士学位论文全文数据库 前10条
1 岳广飞;基于二次搜索的搜索引擎技术研究[D];山东科技大学;2010年
2 李伟;搜索引擎核心词提取系统设计与实现[D];北京交通大学;2011年
3 陈必坤;基于Nutch的图情博客搜索引擎的设计与实现[D];郑州大学;2011年
4 邢敏玲;基于网页分块的主题爬虫方法研究[D];重庆大学;2011年
5 张哲雨;山东圣翰财贸职业学院图书馆WEB系统的设计与实现[D];山东大学;2011年
6 叶继平;基于Lucene的全文信息检索技术的研究与应用[D];江南大学;2012年
7 赵旭;搜索引擎关键技术研究及性能优化[D];江南大学;2008年
8 赵国光;医学文献相似性研究[D];首都师范大学;2009年
9 齐鹏;垂直搜索引擎分类索引系统的设计与实现[D];大连海事大学;2010年
10 周艳;基于Web图像搜索引擎的Spider系统设计与实现[D];电子科技大学;2010年
【相似文献】
中国期刊全文数据库 前10条
1 ;关键词搜索[J];每周电脑报;2000年38期
2 陈冰;;饿狼一样的网站提交工具——“提交饿狼”[J];科学之友;2000年07期
3 许斗;从Google看新一代搜索引擎的发展趋向[J];芜湖职业技术学院学报;2001年01期
4 周毅华;从搜索引擎的分类看其应用技巧[J];图书馆理论与实践;2002年06期
5 邹小筑;搜索引擎的选择与使用技巧[J];图书馆学研究;2002年05期
6 林燕;Google搜索引擎的搜索功能与使用技巧[J];河北科技图苑;2003年05期
7 林中;GOOGLE搜索引擎的关键词检索[J];中国信息导报;2003年03期
8 封剑待封喉;吸星大法“搜”天下 笑傲网络任我行——搜索引擎绝对专题[J];网络与信息;2003年07期
9 闫凡蕾;建设站内搜索的好帮手——Search Engine Maker[J];少年电世界;2003年08期
10 凤元杰,刘正春,王坚毅;搜索引擎主要性能评价指标体系研究[J];情报学报;2004年01期
中国重要会议论文全文数据库 前10条
1 彭轲;廖闻剑;;浅析搜索引擎[A];中国通信学会第五届学术年会论文集[C];2008年
2 李丹;;如何利用搜索引擎查找中医药信息[A];中国中医药信息研究会第二届理事大会暨学术交流会议论文汇编[C];2003年
3 邓长寿;郭景峰;杨焱林;邓安远;;下一代Web搜索引擎初探[A];第十八届全国数据库学术会议论文集(研究报告篇)[C];2001年
4 维尼拉·木沙江;吐尔洪·吾司曼;;维、哈、柯文搜索引擎中网页爬行器的设计与实现[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
5 汤薇;曾艳;;构建校园网搜索引擎必要性分析[A];广西计算机学会2008年年会论文集[C];2008年
6 姚树宇;赵少东;;一种使用分布式技术的搜索引擎[A];2005年全国开放式分布与并行计算学术会议论文集[C];2005年
7 倪俊峰;;基于黄页搜索引擎的关键字排名广告系统的设计与实现[A];2005年中国索引学会年会暨学术研讨会论文集[C];2005年
8 张怡;查贵庭;;SEO在信息服务中的应用研究[A];2010年中国索引学会年会暨学术研讨会论文集[C];2010年
9 陈援非;何哲;朱珍民;;基于普适计算的个性化搜索技术[A];第二届和谐人机环境联合学术会议(HHME2006)——第2届中国普适计算学术会议(PCC'06)论文集[C];2006年
10 杨萌;李春丽;朱明;;网络搜索技术下的编辑工作[A];学报编辑论丛(第十一集)[C];2003年
中国重要报纸全文数据库 前10条
1 李一鑫;搜索排名的红与黑[N];财经时报;2007年
2 周文林;搜狗3.0能否撼动搜索市场[N];经济参考报;2007年
3 惠正一;比尔·盖茨:微软不怕Google[N];第一财经日报;2005年
4 赛迪顾问股份有限公司互联网与电子商务咨询中心 常燕杰;搜索,还是门户[N];中国计算机报;2005年
5 陈珊;浙江移动推出手机搜索引擎服务[N];人民邮电;2005年
6 赵法忠;搜索引擎还需悠着点[N];中国经营报;2005年
7 金朝力;搜索引擎火拼搜索质量[N];北京商报;2006年
8 本报记者  赵晓辉 孟昭丽;搜索引擎驶入“避风港”[N];中国证券报;2006年
9 孙琎;搜索引擎惊喜侵权官司止于“避风港”?[N];第一财经日报;2006年
10 姜蕊;问天下谁识搜索?[N];中国高新技术产业导报;2006年
中国博士学位论文全文数据库 前10条
1 岑荣伟;基于用户行为分析的搜索引擎评价研究[D];清华大学;2010年
2 李群;主题搜索引擎聚类算法的研究[D];北京林业大学;2011年
3 苏君华;面向搜索引擎的技术接受模型研究[D];南京大学;2011年
4 刘佐达;分布协作式搜索引擎模型及算法研究[D];清华大学;2011年
5 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年
6 郭眈;中文互联网视频搜索引擎系统策略研究[D];北京交通大学;2012年
7 王镠璞;基于用户体验的互联网搜索引擎医学信息检索可用性评估研究[D];吉林大学;2010年
8 李莎莎;面向搜索引擎的自然语言处理关键技术研究[D];国防科学技术大学;2011年
9 郑文良;基于简单本体的农业P2P搜索引擎关键技术研究[D];沈阳农业大学;2013年
10 白玉琪;空间信息搜索引擎研究[D];中国科学院研究生院(遥感应用研究所);2003年
中国硕士学位论文全文数据库 前10条
1 何华;搜索引擎中的数据存储问题研究[D];浙江大学;2005年
2 薛云;Internet上元搜索引擎的研究与设计[D];太原理工大学;2003年
3 王春花;基于Nutch的农业搜索引擎检索结果排序策略的研究[D];西北农林科技大学;2010年
4 李雷;基于Nutch的农业信息搜索引擎实现和优化[D];吉林大学;2011年
5 董晨;基于模糊聚类的个性化搜索引擎的研究[D];福州大学;2005年
6 封俊;基于Hadoop的分布式搜索引擎研究与实现[D];太原理工大学;2010年
7 李浩;分布式教育网信息检索系统的研究和实现[D];华南理工大学;2010年
8 尉建兴;基于Lucene搜索引擎的研究与应用[D];太原理工大学;2011年
9 李建平;智能化WEB信息搜索引擎的研究与实现[D];大庆石油学院;2003年
10 田生伟;基于涉农词典的搜索引擎的研究与实践[D];新疆大学;2004年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026