收藏本站
《太原理工大学》 2010年
收藏 | 手机打开
二维码
手机客户端打开本文

基于Hadoop的分布式搜索引擎研究与实现

封俊  
【摘要】: 分布式搜索引擎是一种结合了分布式计算技术和全文检索技术的新型信息检索系统。它改变了人们获取信息的途径,让人们更有效地获取信息,现在它已经深入到网络生活的每一方面,被誉为上网第一站。 目前的搜索引擎系统大多都拥有同样的结构——集中式结构,即系统所有功能模块集中部署在一台服务器上,这直接导致了系统对服务器硬件性能要求较高,同时,系统还有稳定性差、可扩展性不高的弊端。为了克服以上弊端就必须采购极为昂贵的大型服务器来满足系统需求,然而并不是所有人都有能力负担这样高昂的费用。此外,在传统的信息检索系统中,许多都采用了比较原始的字符串匹配方式来获得搜索结果,这种搜索方式虽然实现简单,但在数据量比较大时,搜索效率非常低,导致用户无法及时获得有效信息。以上这两个缺点给搜索引擎的推广带来了很大的挑战。为应对这个挑战,在搜索引擎系统中引入了分布式计算和倒排文档全文检索技术。 本文在分析当前几种分布式搜索引擎系统的基础上,总结了现有系统的优缺点,针对现有系统的不足,提出了基于Hadoop的分布式搜索引擎。主要研究工作在于对传统搜索引擎的功能模块加以改进,对爬行、索引、搜索过程中的步骤进行详细分析,将非顺序执行的步骤进一步分解为两部分:数据计算和数据合并。同时,应用Map/Reduce编程模型思想,把数据计算任务封装到Map函数中,把数据合并任务封装到Reduce函数中。经过以上改进的搜索引擎系统可以部署在廉价PC构成的Hadoop分布式环境中,并具有较高的响应速度、可靠性和扩展性。这与分布式搜索引擎中的技术需求极为符合,因此本文使用Hadoop作为系统分布式计算平台。此外,系统使用了基于倒排文档的全文检索技术,构建了以关键词为单位的倒排索引模块,同时结合TF-IDF和PageRank算法,改进了网页评分策略,优化了搜索结果。 最后,详细分析了在应用Map/Reduce编程模型实现系统模块过程中遇到的问题,及其解决方案。构建了一个4节点的小型分布式搜索引擎系统,通过对网络资源的爬行、索引和检索,以及对系统进行可靠性和扩展性测试,获得实验数据。在分析实验数据的基础上,验证了所提出的基于Hadoop的分布式搜索引擎的合理性。
【学位授予单位】:太原理工大学
【学位级别】:硕士
【学位授予年份】:2010
【分类号】:TP391.3

【参考文献】
中国期刊全文数据库 前5条
1 潘以锋;;基于Lucene的网站全文检索系统的开发[J];广西教育学院学报;2006年05期
2 蒋建洪;;主要分布式搜索引擎技术的研究[J];科学技术与工程;2007年10期
3 姚树宇,赵少东;一种使用分布式技术的搜索引擎[J];计算机应用与软件;2005年10期
4 韩升;刘广志;;全文检索系统的数据预处理研究[J];计算机技术与发展;2006年03期
5 管建和;甘剑峰;;基于Lucene全文检索引擎的应用研究与实现[J];计算机工程与设计;2007年02期
【共引文献】
中国期刊全文数据库 前10条
1 朱力平,丰国炳;用基于内容的Web图像搜索引擎设计消防电子化道路水源手册[J];安全与环境学报;2004年03期
2 唐培丽,王树明,胡明;基于语义的汉语文献主题词提取算法研究[J];吉林大学学报(信息科学版);2005年05期
3 胡亮,李强,金京姬,钟宇红,徐高潮,魏晓辉;计算机网络课程研究型教学的研究与实践[J];吉林大学学报(信息科学版);2005年S2期
4 陈旭日;张新林;;分布式系统进程通信的研究[J];长沙电力学院学报(自然科学版);2006年01期
5 袁加全,陈勇;基于JAVA中的多线程技术实现并行计算[J];仪器仪表用户;2005年01期
6 林木辉,林锦贤,林凌;基于可扩展、高性能分布式文件系统的网络存储方式的研究与实现[J];福建电脑;2005年09期
7 周生兵;倪国强;刘琼;;基于4×DSP的并行图像处理系统[J];光电工程;2006年08期
8 蒙应杰,厉亮,董礼英,谢群英;敦煌学WEB数字博物馆的研究[J];计算机工程与应用;2004年17期
9 杨俊安,庄镇泉;多宇宙并行量子衍生遗传算法研究[J];计算机工程与应用;2004年20期
10 杜鸿,薛弘晔,白欣;一种基于任务表方法的实时集群平台[J];计算机工程;2005年18期
中国重要会议论文全文数据库 前2条
1 胡亮;李强;金京姬;钟宇红;徐高潮;魏晓辉;;计算机网络课程研究型教学的研究与实践[A];2005全国计算机程序设计类课程教学研讨会论文集[C];2005年
2 崔向徽;林忠文;卢光军;;集群计算技术在无线接收系统中的应用[A];2008'中国信息技术与应用学术论坛论文集(二)[C];2008年
中国博士学位论文全文数据库 前5条
1 李四明;基于智能Agent的网上农业信息挖掘研究[D];中国农业大学;2003年
2 张亮;面向开放域的中文问答系统问句处理相关技术研究[D];南京理工大学;2006年
3 易高翔;粗糙集在Web挖掘中的应用研究[D];华中科技大学;2006年
4 赵斌;若干等离子体物理过程的Fokker-Planck模拟[D];中国科学技术大学;2007年
5 王鑫印;无结构和半结构信息检索相关技术研究[D];复旦大学;2007年
中国硕士学位论文全文数据库 前10条
1 林华兵;移动搜索中的查询优化和主题分类策略[D];福州大学;2006年
2 王红霞;个性化元搜索引擎的关键技术的研究与设计[D];中北大学;2007年
3 李文泽;个性化垂直搜索引擎研究[D];河南大学;2007年
4 胡坚;基于本体的机械产品领域智能信息检索系统研究[D];浙江工业大学;2005年
5 刘宇波;面向可下载资源的WEB搜索引擎的设计与实现[D];湖南大学;2005年
6 贾爱军;面向创新设计的多层次Web信息检索研究[D];四川大学;2005年
7 赵栓柱;基于特定领域的Wed文本信息获取系统的研究与设计[D];太原理工大学;2005年
8 刘艳青;基于Web的个性化信息检索研究[D];山东大学;2005年
9 乔智勇;Web数据挖掘系统的设计及关键技术研究[D];西安电子科技大学;2002年
10 郭琰;元搜索引擎的关键技术研究及系统实现[D];南京理工大学;2002年
【同被引文献】
中国期刊全文数据库 前10条
1 于琨;管刚;周明;王煦法;蔡庆生;;基于双层级联文本分类的简历信息抽取[J];中文信息学报;2006年01期
2 欧振猛,余顺争;中文分词算法在搜索引擎应用中的研究[J];计算机工程与应用;2000年08期
3 郑晓东,王志坚,周晓峰,费玉奎,许峰;一种基于Web Service的分布式计算模型研究及其实现[J];计算机工程与应用;2004年01期
4 王霜,修保新,肖卫东;Web服务器集群的负载均衡算法研究[J];计算机工程与应用;2004年25期
5 宁葵,滕金芳;新一代的分布式计算技术——Web服务[J];计算机工程;2003年03期
6 向建军,白欣,左继章;一种用于实时集群的多任务负载均衡算法[J];计算机工程;2003年12期
7 吴栋,滕育平;中文信息检索引擎中的分词与检索技术[J];计算机应用;2004年07期
8 黄宏涛,王慧;基于Web的分布式计算[J];计算机应用研究;2000年02期
9 陈淑珍;Web文本挖掘中的特征表示与特征提取技术[J];三明高等专科学校学报;2004年02期
10 赵仲孟,戚晓光,沈钧毅;分布式搜索引擎系统中协作检索机制的研究[J];微电子学与计算机;2005年05期
中国博士学位论文全文数据库 前2条
1 佘春东;数据挖掘算法分析及其并行模式研究[D];电子科技大学;2004年
2 刘朝斌;虚拟网络存储系统关键技术研究及其性能评价[D];华中科技大学;2004年
中国硕士学位论文全文数据库 前10条
1 顾德访;语义Web环境下基于ontology的语义检索应用研究[D];南京理工大学;2005年
2 陈铁睿;分布式DRM若干关键技术研究及其应用[D];中国科学院研究生院(计算技术研究所);2006年
3 王道祥;基于分布式数据库的综合信息系统关键技术研究[D];国防科学技术大学;2006年
4 罗小称;基于元数据的ETL工具设计和实现[D];华东师范大学;2007年
5 乔冬梅;搜索引擎现状与发展研究[D];郑州大学;2002年
6 鲍宗泛;广域网数据库查询系统的研究与开发[D];浙江大学;2004年
7 马云涛;网络文件存储和共享系统的资源搜索研究和实现[D];东南大学;2004年
8 余锦;大规模分布式全文搜索系统的研究与设计[D];清华大学;2004年
9 董祥千;搜索引擎设计分析与结果聚类改进[D];电子科技大学;2007年
10 冯斌;基于Lucene小型搜索引擎的研究与实现[D];武汉理工大学;2008年
【二级参考文献】
中国期刊全文数据库 前10条
1 欧振猛,余顺争;中文分词算法在搜索引擎应用中的研究[J];计算机工程与应用;2000年08期
2 马晓娜,杨承磊;基于面向对象的受限自然语言查询系统的设计与实现[J];计算机工程与应用;2005年10期
3 肖诗源,叶俊,刘贤德;一种基于Agent的分布式搜索引擎[J];计算机工程;2002年07期
4 曾元鉴,李孝明;一个中文全文检索系统的设计与实现[J];计算机与数字工程;2004年03期
5 陈玮,陈玉鹏,石晶,陆达;一种高效的全文检索索引技术[J];计算机应用研究;2004年07期
6 李玮,李利;Web搜索引擎与全文检索技术[J];情报科学;2003年05期
7 郭少友;Web环境下分布式信息检索模式[J];情报科学;2003年06期
8 邹涛,黄源,张福炎;基于WWW的文本信息挖掘[J];情报学报;1999年04期
9 王兰成,蒋丹,刘庆辉;全文数据库建库原理与应用技术[J];情报学报;1999年04期
10 高琰,谷士文,谭立球,费耀平;基于Lucene的搜索引擎设计与实现[J];微机发展;2004年10期
中国硕士学位论文全文数据库 前1条
1 郭琰;元搜索引擎的关键技术研究及系统实现[D];南京理工大学;2002年
【相似文献】
中国期刊全文数据库 前10条
1 ;关键词搜索[J];每周电脑报;2000年38期
2 陈冰;;饿狼一样的网站提交工具——“提交饿狼”[J];科学之友;2000年07期
3 许斗;从Google看新一代搜索引擎的发展趋向[J];芜湖职业技术学院学报;2001年01期
4 周毅华;从搜索引擎的分类看其应用技巧[J];图书馆理论与实践;2002年06期
5 邹小筑;搜索引擎的选择与使用技巧[J];图书馆学研究;2002年05期
6 林燕;Google搜索引擎的搜索功能与使用技巧[J];河北科技图苑;2003年05期
7 林中;GOOGLE搜索引擎的关键词检索[J];中国信息导报;2003年03期
8 封剑待封喉;吸星大法“搜”天下 笑傲网络任我行——搜索引擎绝对专题[J];网络与信息;2003年07期
9 闫凡蕾;建设站内搜索的好帮手——Search Engine Maker[J];少年电世界;2003年08期
10 凤元杰,刘正春,王坚毅;搜索引擎主要性能评价指标体系研究[J];情报学报;2004年01期
中国重要会议论文全文数据库 前10条
1 彭轲;廖闻剑;;浅析搜索引擎[A];中国通信学会第五届学术年会论文集[C];2008年
2 李丹;;如何利用搜索引擎查找中医药信息[A];中国中医药信息研究会第二届理事大会暨学术交流会议论文汇编[C];2003年
3 邓长寿;郭景峰;杨焱林;邓安远;;下一代Web搜索引擎初探[A];第十八届全国数据库学术会议论文集(研究报告篇)[C];2001年
4 维尼拉·木沙江;吐尔洪·吾司曼;;维、哈、柯文搜索引擎中网页爬行器的设计与实现[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
5 汤薇;曾艳;;构建校园网搜索引擎必要性分析[A];广西计算机学会2008年年会论文集[C];2008年
6 姚树宇;赵少东;;一种使用分布式技术的搜索引擎[A];2005年全国开放式分布与并行计算学术会议论文集[C];2005年
7 倪俊峰;;基于黄页搜索引擎的关键字排名广告系统的设计与实现[A];2005年中国索引学会年会暨学术研讨会论文集[C];2005年
8 张怡;查贵庭;;SEO在信息服务中的应用研究[A];2010年中国索引学会年会暨学术研讨会论文集[C];2010年
9 陈援非;何哲;朱珍民;;基于普适计算的个性化搜索技术[A];第二届和谐人机环境联合学术会议(HHME2006)——第2届中国普适计算学术会议(PCC'06)论文集[C];2006年
10 杨萌;李春丽;朱明;;网络搜索技术下的编辑工作[A];学报编辑论丛(第十一集)[C];2003年
中国重要报纸全文数据库 前10条
1 李一鑫;搜索排名的红与黑[N];财经时报;2007年
2 周文林;搜狗3.0能否撼动搜索市场[N];经济参考报;2007年
3 惠正一;比尔·盖茨:微软不怕Google[N];第一财经日报;2005年
4 赛迪顾问股份有限公司互联网与电子商务咨询中心 常燕杰;搜索,还是门户[N];中国计算机报;2005年
5 陈珊;浙江移动推出手机搜索引擎服务[N];人民邮电;2005年
6 赵法忠;搜索引擎还需悠着点[N];中国经营报;2005年
7 金朝力;搜索引擎火拼搜索质量[N];北京商报;2006年
8 本报记者  赵晓辉 孟昭丽;搜索引擎驶入“避风港”[N];中国证券报;2006年
9 孙琎;搜索引擎惊喜侵权官司止于“避风港”?[N];第一财经日报;2006年
10 姜蕊;问天下谁识搜索?[N];中国高新技术产业导报;2006年
中国博士学位论文全文数据库 前10条
1 岑荣伟;基于用户行为分析的搜索引擎评价研究[D];清华大学;2010年
2 李群;主题搜索引擎聚类算法的研究[D];北京林业大学;2011年
3 苏君华;面向搜索引擎的技术接受模型研究[D];南京大学;2011年
4 刘佐达;分布协作式搜索引擎模型及算法研究[D];清华大学;2011年
5 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年
6 郭眈;中文互联网视频搜索引擎系统策略研究[D];北京交通大学;2012年
7 王镠璞;基于用户体验的互联网搜索引擎医学信息检索可用性评估研究[D];吉林大学;2010年
8 李莎莎;面向搜索引擎的自然语言处理关键技术研究[D];国防科学技术大学;2011年
9 白玉琪;空间信息搜索引擎研究[D];中国科学院研究生院(遥感应用研究所);2003年
10 费巍;搜索引擎检索功能的性能评价研究[D];武汉大学;2010年
中国硕士学位论文全文数据库 前10条
1 封俊;基于Hadoop的分布式搜索引擎研究与实现[D];太原理工大学;2010年
2 薛云;Internet上元搜索引擎的研究与设计[D];太原理工大学;2003年
3 王春花;基于Nutch的农业搜索引擎检索结果排序策略的研究[D];西北农林科技大学;2010年
4 李雷;基于Nutch的农业信息搜索引擎实现和优化[D];吉林大学;2011年
5 董晨;基于模糊聚类的个性化搜索引擎的研究[D];福州大学;2005年
6 李浩;分布式教育网信息检索系统的研究和实现[D];华南理工大学;2010年
7 尉建兴;基于Lucene搜索引擎的研究与应用[D];太原理工大学;2011年
8 李建平;智能化WEB信息搜索引擎的研究与实现[D];大庆石油学院;2003年
9 田生伟;基于涉农词典的搜索引擎的研究与实践[D];新疆大学;2004年
10 欧建斌;基于Web挖掘与信息分类的个性化搜索引擎研究[D];暨南大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026