收藏本站
《武汉大学》 2011年
收藏 | 手机打开
二维码
手机客户端打开本文

基于索引云的企业搜索引擎实现研究

陈旭毅  
【摘要】:随着企业信息化的发展,企业内部的数据资源正在急剧膨胀。企业对信息的管理和资源的访问提出了更高的要求,因此,建立企业内部搜索引擎具有必然性,也是企业信息资源管理的发展趋势。企业搜索引擎实现的关键技术之一是对企业内各种信息化资源索引结构的构建,索引结构的构成方式在很大程度上对企业搜索引擎的检索性能起着决定性作用。本文在对企业内部搜索引擎设计时,在传统索引结构的基础之上经过创新改造,将云计算思想引入到索引系统中,提出了一种新的索引框架——索引云模型,并在此基础上提出了新的企业搜索引擎体系架构。 本文首先阐述了搜索引擎的概念和分类,研究了搜索引擎的工作原理和技术,了解了搜索引擎的发展,然后阐述了云计算的概念和分类,研究了云计算的技术和实现。 本文对索引的组织方式进行了细致的研究,阐述了索引的概念和索引文件的组织方式,对几种常用的索引组织方式B-树、B+树、R树、R*树进行了详细的研究和讨论。对索引项的构成方式,如正排索引、倒排索引、后缀数组、签名文档技术进行了介绍。在搜索引擎和云计算理论的基础上,依据索引理论提出了索引云模型,该模型基于数据分类存储、分布式运算及并行处理三个基本原理进行设计,具有高度虚拟化、高性能、高可靠性、安全性强、可扩展性强、通用性好等显著特点,更适合于企业搜索引擎的需求。 本文对索引云模型进行了全面深入的研究,详细给出了索引云的定义、索引云的原理、索引云的基本特征。针对搜索引擎中索引组织策略在检索性能和可扩展性等方面存在的问题,在对基本索引组织策略进行比较后,本文在索引云系统中采用了一种混合型分布式索引组织策略。在索引云数据结构中,采用了一种新的以B+树为基础结合字典顺序数据结构的DicB+Tree索引树结构的框架DPIC (Distributed Paralleling Index Cloud).基于DPIC设计了索引云的核心管理策略,保证了系统资源能够得到最大限度的利用。研究并给出了索引云的内部处理架构、索引数据的组织方式,索引数据的分配,索引项数据的备份以及索引数据的调整和重构的方法。此外,本文还详细阐述了索引云中的数据检索任务的分析、分布式调度的处理过程。 本文系统综述了企业搜索引擎的特点、企业搜索引擎技术的研究现状,分析了企业搜索引擎在检索需求、检索方法、检索对象和安全性等方面与传统的web检索存在的差异。因此,我们需要从搜索引擎的系统架构、索引组织策略、信息检索算法以及任务调度算法等方面全面研究企业搜索引擎系统,提出了企业搜索引擎与云计算相结合的思想。 本文进一步提出了基于索引云的企业搜索引擎体系架构。介绍了企业搜索引擎的三个组成部分:通用存储平台、通用服务平台、通用应用平台,并详细说明了三个平台实现的方法。它以较低的硬件投入解决了全文搜索系统索引文件膨胀,网络带宽瓶颈以及磁盘I/O瓶颈等问题,提供了高效的数据存储和并行计算服务。本文设计出针对此体系的分布式的任务调度设计,综合考虑到索引节点的任务负载水平和索引词频,优化任务分配,避免出现系统热点,提高了索引系统的查询速度和可靠性。 本文利用分布式开源系统框架Hadoop和开源搜索引擎系统Lucene,搭建了基于索引云原型的企业搜索引擎系统,进行了系统性能实验验证。本文详细讨论了基于索引云架构的企业搜索引擎的实验系统中各个部分的详细构建方法,从响应时间、吞吐率、负载均衡度等三个方面,对索引云原型系统进行了评估,证明了其可行性和良好的应用效果。
【学位授予单位】:武汉大学
【学位级别】:博士
【学位授予年份】:2011
【分类号】:TP391.3;F270.7

【相似文献】
中国期刊全文数据库 前10条
1 ;李彦宏论搜索引擎三个定律[J];新电子;2001年02期
2 相春雷;;2009年中国搜索引擎市场趋势分析[J];软件世界;2010年02期
3 ;揭秘搜索引擎收录网站的秘密[J];计算机与网络;2010年Z1期
4 马玥;;王小川:绝境之外[J];中国经济和信息化;2011年12期
5 魏蕾如;;基于搜索引擎的网络中文信息检索工具评价[J];数字技术与应用;2011年06期
6 ;创新工业搜索引擎[J];中国制造业信息化;2011年12期
7 胡风华;王磊;;基于知识库系统的智能搜索引擎研究[J];中国新技术新产品;2011年18期
8 方亚会;;Google失败后快速切换搜索引擎[J];电脑迷;2011年11期
9 ;成长中的谷歌[J];IT时代周刊;2011年18期
10 林丽华;;用好SOSO的微博搜索功能[J];电脑迷;2011年16期
中国重要会议论文全文数据库 前10条
1 彭轲;廖闻剑;;浅析搜索引擎[A];中国通信学会第五届学术年会论文集[C];2008年
2 李丹;;如何利用搜索引擎查找中医药信息[A];中国中医药信息研究会第二届理事大会暨学术交流会议论文汇编[C];2003年
3 邓长寿;郭景峰;杨焱林;邓安远;;下一代Web搜索引擎初探[A];第十八届全国数据库学术会议论文集(研究报告篇)[C];2001年
4 维尼拉·木沙江;吐尔洪·吾司曼;;维、哈、柯文搜索引擎中网页爬行器的设计与实现[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
5 何璐;李晋宏;;基于XML的大容量搜索引擎技术探讨[A];2006北京地区高校研究生学术交流会——通信与信息技术会议论文集(下)[C];2006年
6 汤薇;曾艳;;构建校园网搜索引擎必要性分析[A];广西计算机学会2008年年会论文集[C];2008年
7 姚树宇;赵少东;;一种使用分布式技术的搜索引擎[A];2005年全国开放式分布与并行计算学术会议论文集[C];2005年
8 倪俊峰;;基于黄页搜索引擎的关键字排名广告系统的设计与实现[A];2005年中国索引学会年会暨学术研讨会论文集[C];2005年
9 张怡;查贵庭;;SEO在信息服务中的应用研究[A];2010年中国索引学会年会暨学术研讨会论文集[C];2010年
10 陈援非;何哲;朱珍民;;基于普适计算的个性化搜索技术[A];第二届和谐人机环境联合学术会议(HHME2006)——第2届中国普适计算学术会议(PCC'06)论文集[C];2006年
中国重要报纸全文数据库 前10条
1 章森 王伟;搜索引擎的工作机制[N];计算机世界;2006年
2 主持人 陈建栋;搜索引擎能帮企业做什么[N];光明日报;2005年
3 本报记者 陈建栋;搜索引擎掀起第三次网络浪潮[N];光明日报;2005年
4 曾正乐;搜索引擎为啥那么热[N];经济日报;2005年
5 本报记者 秦海波;今夏搜索引擎最热[N];经济日报;2005年
6 FN记者 柳立;我国搜索引擎市场竞争格局初步确定[N];金融时报;2005年
7 闫辉;搜索引擎猜想[N];计算机世界;2005年
8 本报记者 李剑;搜索引擎进入“泛门户”时代[N];通信信息报;2005年
9 华夏;搜索引擎:有钱便是爷 涉嫌广告欺诈[N];江苏科技报;2008年
10 记者 毛涛涛;优酷主动屏蔽搜索引擎[N];北京商报;2008年
中国博士学位论文全文数据库 前10条
1 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年
2 刘佐达;分布协作式搜索引擎模型及算法研究[D];清华大学;2011年
3 岑荣伟;基于用户行为分析的搜索引擎评价研究[D];清华大学;2010年
4 李群;主题搜索引擎聚类算法的研究[D];北京林业大学;2011年
5 苏君华;面向搜索引擎的技术接受模型研究[D];南京大学;2011年
6 郭眈;中文互联网视频搜索引擎系统策略研究[D];北京交通大学;2012年
7 王镠璞;基于用户体验的互联网搜索引擎医学信息检索可用性评估研究[D];吉林大学;2010年
8 李莎莎;面向搜索引擎的自然语言处理关键技术研究[D];国防科学技术大学;2011年
9 白玉琪;空间信息搜索引擎研究[D];中国科学院研究生院(遥感应用研究所);2003年
10 费巍;搜索引擎检索功能的性能评价研究[D];武汉大学;2010年
中国硕士学位论文全文数据库 前10条
1 李浩;分布式教育网信息检索系统的研究和实现[D];华南理工大学;2010年
2 李海丰;基于Lucene的企业文档搜索引擎研究与应用[D];中南林业科技大学;2009年
3 张朝斌;企业级搜索引擎的优化设计与实现[D];华南理工大学;2010年
4 张盛蕾;基于Java的浙江纺织服装学院校园网搜索引擎[D];电子科技大学;2010年
5 赵善明;基于Lucene的主题搜索引擎研究[D];西安电子科技大学;2008年
6 尉建兴;基于Lucene搜索引擎的研究与应用[D];太原理工大学;2011年
7 张彬;基于lucene的搜索引擎[D];上海师范大学;2010年
8 张蕾;基于Lucene的电子档案检索系统的设计与实现[D];西安电子科技大学;2010年
9 徐财应;基于Lucene的搜索引擎技术的研究与改进[D];长春理工大学;2010年
10 陈艳斐;基于用户兴趣模型的校园网搜索引擎设计与应用[D];云南大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026