收藏本站
《华南理工大学》 2010年
收藏 | 手机打开
二维码
手机客户端打开本文

分布式教育网信息检索系统的研究和实现

李浩  
【摘要】: 随着下一代网络的快速发展,Web2.0等新一代信息技术的成熟,信息资源的分布和呈现越来越分布化,这为搜索引擎的体系结构设计提出了更多新的挑战。互联网的通用搜索引擎如Google、Yahoo或Baidu等主要解决了新闻、网页等通用信息的查询,其检索架构仍然是集中式的。分布式搜索引擎的优势在于可以联合众多的有特色的搜索引擎单元。合理的体系结构可促使系统能够支持成百上千个节点搜索引擎,支持目前连通性较差的IPv6网络以及社交网络等的数据采集,显著提高系统的覆盖率。 本文旨在建立教育网网络环境下的分布式信息检索系统,联合部署在教育网上的多个单元搜索引擎,面向教育网的信息资源,提供统一的检索服务,并使该系统相对于集中式通用搜索引擎更加结构化、专业化和多样化。 本文设计并实现由多个单元搜索引擎节点(Worker节点)、多个查询代理节点(Querier节点),和一个总节点(Broker节点)构成的分布式检索系统。Worker节点是单独的搜索引擎。Broker节点分成网络层、逻辑层和应用层,网络层负责与Querier节点、Worker节点之间的数据传输;逻辑层主要负责节点内部逻辑功能的设计和实现;应用层向Web Server提供Querier选择服务。Querier节点也分为网络层、逻辑层及应用层。网络层的主要功能是与Broker的交互通信,包括接收Broker的Worker更新状态和发送心跳状态信息;跟Broker类似,逻辑层主要负责节点内部逻辑功能的设计和实现;应用层提供了查询接口。抽象适配器(Abstract Adapter Layer),处于抽象层,负责接口的转换整合异构资源。三层架构的设计提高了系统的可扩展性、容错性和吞吐量。 本文基于Web Services和RMI技术,整合异构平台的单元搜索引擎,使得松散耦合方式的单元搜索引擎可以以较小代价融入分布式检索系统中;并设计了响应用户查询时查询代理节点的选择算法,实现查询代理节点的负载均衡。 本文还对系统的性能进行了以下几方面的测试:系统可扩展性、系统的吞吐量、请求数据量的影响、分布式架构开销、通信协议的效率测试。最后,本文基于实验数据还对分布式体系结构带来的额外时间开销的构成情况进行了讨论。
【学位授予单位】:华南理工大学
【学位级别】:硕士
【学位授予年份】:2010
【分类号】:TP391.3

【引证文献】
中国硕士学位论文全文数据库 前2条
1 陈斌;分布式信息检索结果融合算法的研究及实现[D];华南理工大学;2011年
2 卢伟庆;分布式搜索引擎系统的分发调度与融合排序[D];华南理工大学;2012年
【参考文献】
中国期刊全文数据库 前7条
1 岳清;浅析搜索引擎的原理及发展前景[J];大众科技;2005年05期
2 白欣,宋博,左继章,向建军;高可用性冗余实时集群系统的设计与构建[J];计算机工程;2004年02期
3 印鉴,陈忆群,张钢;搜索引擎技术研究与发展[J];计算机工程;2005年14期
4 屈钢,邓健青,韩云路;Linux集群技术研究[J];计算机应用研究;2005年05期
5 褚红伟,葛玮;基于Web Services的分布式工作流的研究与实现[J];计算机应用研究;2005年08期
6 蒋建洪;;主要分布式搜索引擎技术的研究[J];科学技术与工程;2007年10期
7 岳昆,王晓玲,周傲英;Web服务核心支撑技术:研究综述[J];软件学报;2004年03期
中国硕士学位论文全文数据库 前5条
1 黄刚;基于JXTA的搜索引擎系统研究[D];西南交通大学;2004年
2 刘辉;搜索引擎联邦算法设计与系统实现[D];清华大学;2004年
3 陈宁程;基于JXTA的对等网资源搜索引擎系统的研究实现[D];新疆大学;2005年
4 张维维;搜索引擎的研究与实现[D];长春理工大学;2008年
5 王文明;基于P2P的分布式搜索引擎的研究[D];天津大学;2007年
【共引文献】
中国期刊全文数据库 前10条
1 高志升,刘兴伟;基于语义P2P的Web服务模型[J];阿坝师范高等专科学校学报;2005年03期
2 王红艳;朱全银;丁甜甜;;通信终端与农村科技服务平台的Web服务数据同步设计[J];安徽农业科学;2012年01期
3 刘斌;代素环;;基于Linux的安全WEB服务器集群的构建[J];安徽科技学院学报;2011年03期
4 方芳;叶春明;;基于Qos的语义Web服务发现研究[J];安庆师范学院学报(自然科学版);2010年02期
5 侯贵法;罗颖;;基于SOA的数字气田应用集成[J];安阳工学院学报;2007年04期
6 曹利培;杨庆祥;李冰川;;一种考虑QoS的网格服务匹配模型[J];安阳工学院学报;2009年02期
7 刘实;刘书雷;熊伟;钟志农;;基于工作流的服务动态聚合平台[J];兵工自动化;2007年10期
8 王俊生;施运梅;张仰森;;基于Hadoop的分布式搜索引擎关键技术[J];北京信息科技大学学报(自然科学版);2011年04期
9 张万方;朱全银;王红艳;丁甜甜;;通信终端与Web服务程序数据同步设计[J];北京联合大学学报(自然科学版);2011年02期
10 夏虹;李增智;;粒子群算法求解Web服务组合中基于QoS的服务选择[J];北京邮电大学学报;2009年04期
中国重要会议论文全文数据库 前10条
1 陶冶;刘建勋;唐明董;;基于Map/Reduce的分布式Web服务搜索引擎设计与实现[A];CCF NCSC 2011——第二届中国计算机学会服务计算学术会议论文集[C];2011年
2 党德鹏;徐俏;徐娟;;基于替代的Web服务事务提交协议及其性能分析[A];CCF NCSC 2011——第二届中国计算机学会服务计算学术会议论文集[C];2011年
3 陈彦萍;李增智;夏虹;朱海萍;;服务质量驱动的Web服务组合框架的设计与实现[A];2006年全国通信软件学术会议论文集[C];2006年
4 李宏伟;李勤超;蔡畅;;基于OWL-S的地理信息服务语义描述研究[A];中国地理信息系统协会第四次会员代表大会暨第十一届年会论文集[C];2007年
5 薛海丽;樊永生;韩燮;;下一代网络结构和关键技术分析[A];AECC专题学术研讨会论文集[C];2007年
6 张艳梅;;基于Overlay网络的服务组合研究综述[A];2006北京地区高校研究生学术交流会——通信与信息技术会议论文集(上)[C];2006年
7 董燕;;中央监测资源集成平台的软件架构设计思路[A];中国新闻技术工作者联合会2008年学术年会论文集(下)[C];2008年
8 吴家菊;刘刚;席传裕;;Web服务数据的二次处理[A];第二届全国信息与电子工程学术交流会暨第十三届四川省电子学会曙光分会学术年会论文集[C];2006年
9 陈龙彪;李石坚;潘纲;;基于SOA的智能车情境感知与服务系统[A];第六届和谐人机环境联合学术会议(HHME2010)、第19届全国多媒体学术会议(NCMT2010)、第6届全国人机交互学术会议(CHCI2010)、第5届全国普适计算学术会议(PCC2010)论文集[C];2010年
10 栾衡;张世栋;隋琪;;一种基于服务功能社区的规划算法[A];2005年全国理论计算机科学学术年会论文集[C];2005年
中国博士学位论文全文数据库 前10条
1 朱里越;多业务协同系统服务组合技术研究[D];中国科学技术大学;2010年
2 高瞻;网格任务调度中服务质量保证相关问题研究[D];北京交通大学;2010年
3 尹可挺;Internet环境中基于QoS的Web服务组合研究[D];浙江大学;2010年
4 邝砾;基于接口和行为语义的Web服务发现与适配研究[D];浙江大学;2009年
5 王强;空间信息服务聚合的关键技术研究[D];解放军信息工程大学;2010年
6 付晓东;Web服务组合服务质量保障关键问题研究[D];昆明理工大学;2008年
7 吴斌;企业服务总线中动态服务路由技术的研究[D];山东大学;2010年
8 曹虹华;语义编程语言SPROGLE及其实现机制研究[D];武汉大学;2009年
9 赵振南;联合作战信息系统体系结构若干关键技术研究[D];南京理工大学;2010年
10 刘莉平;动态Web服务组合关键技术研究[D];中南大学;2011年
中国硕士学位论文全文数据库 前10条
1 林治晖;基于WEB服务的高可扩展性机群管理系统的研究与实现[D];山东科技大学;2010年
2 吕媛媛;基于本体的物流信息集成系统的研究[D];山东科技大学;2010年
3 徐财应;基于Lucene的搜索引擎技术的研究与改进[D];长春理工大学;2010年
4 聂剑锋;基于QoS的Web服务选择研究[D];浙江理工大学;2010年
5 宋超臣;基于推荐网络的服务搜索技术研究[D];哈尔滨工程大学;2010年
6 孙原;基于酉变换的权威页面挖掘算法研究[D];哈尔滨工程大学;2010年
7 戴步成;基于ArcGIS Server的电子地图研究及应用[D];大连理工大学;2010年
8 华建新;基于语义的Web服务发现及算法研究[D];长沙理工大学;2010年
9 周凌;基于web的网络实验教学管理系统的设计与实现[D];合肥工业大学;2010年
10 马百皓;基于Web Service的校园电子商务平台研究与开发[D];华东师范大学;2010年
【同被引文献】
中国期刊全文数据库 前1条
1 张强弓,喻国宝,廖湖声,隋树林;一种元搜索引擎的查询结果处理模型[J];华南理工大学学报(自然科学版);2004年S1期
【二级参考文献】
中国期刊全文数据库 前10条
1 曹元大,贺海军,涂哲明;中文Web文档全文检索系统的设计及实现[J];北京理工大学学报;2002年01期
2 汪涛,樊孝忠,顾益军,刘林;基于概念分析的主题爬虫设计[J];北京理工大学学报;2004年10期
3 金益;;基于“网络蜘蛛原理”的搜索引擎技术剖析[J];电脑学习;2007年05期
4 彭建荣;罗永会;;搜索引擎的基本原理及发展趋势[J];电脑知识与技术;2006年02期
5 雷葆华,杨明川;P2P技术的组网模式与业务模式探讨[J];电信技术;2004年11期
6 叶允明,于水,马范援,宋晖,张岭;分布式Web Crawler的研究:结构、算法和策略[J];电子学报;2002年S1期
7 郭方方;杨永田;;一种非结构化P2P系统搜索算法的研究[J];哈尔滨工程大学学报;2006年01期
8 沈文勤,李庆超,邵志清;搜索引擎的渐增式爬行和备份式更新模式[J];华东理工大学学报;2004年03期
9 王继成,萧嵘,孙正兴,张福炎;Web信息检索研究进展[J];计算机研究与发展;2001年02期
10 张敏,高剑峰,马少平;基于链接描述文本及其上下文的Web信息检索[J];计算机研究与发展;2004年01期
中国硕士学位论文全文数据库 前1条
1 夏捷;基于P2P网络改进路由算法的通用架构[D];电子科技大学;2006年
【相似文献】
中国期刊全文数据库 前10条
1 任洪平;;可视化信息检索研究[J];魅力中国;2008年26期
2 吉亮;;个性化搜索引擎的技术发展与应用[J];机械管理开发;2010年05期
3 李孝明;曹万华;;文本信息检索的精确匹配模型[J];计算机科学;2004年09期
4 李玉鑑;操卫平;周兰珍;;结构化向量空间模型及其在Web信息检索中的应用[J];北京工业大学学报;2008年04期
5 李秀芹;葛永亮;;略论网络信息检索[J];科技信息(科学教研);2007年15期
6 张敏;;基于Agent的个性化信息检索系统设计[J];信息技术;2006年06期
7 孙悦民;;网络信息系统三种核心检索方式的分析[J];高校图书馆工作;2009年05期
8 龚剑;一种新型互联网信息检索系统的构想[J];现代情报;2005年09期
9 许静芳;;指南针联邦:突破集中式搜索之困[J];中国教育网络;2007年06期
10 张敏;;贝叶斯分类方法在个性化信息检索中的应用研究[J];电脑学习;2006年02期
中国重要会议论文全文数据库 前10条
1 邓长寿;郭景峰;杨焱林;邓安远;;下一代Web搜索引擎初探[A];第十八届全国数据库学术会议论文集(研究报告篇)[C];2001年
2 彭轲;廖闻剑;;浅析搜索引擎[A];中国通信学会第五届学术年会论文集[C];2008年
3 李丹;;如何利用搜索引擎查找中医药信息[A];中国中医药信息研究会第二届理事大会暨学术交流会议论文汇编[C];2003年
4 张乃岳;张学燕;;基于个体词语相似度的定制化动态信息检索[A];第四届全国信息检索与内容安全学术会议论文集(上)[C];2008年
5 维尼拉·木沙江;吐尔洪·吾司曼;;维、哈、柯文搜索引擎中网页爬行器的设计与实现[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
6 汤薇;曾艳;;构建校园网搜索引擎必要性分析[A];广西计算机学会2008年年会论文集[C];2008年
7 姚树宇;赵少东;;一种使用分布式技术的搜索引擎[A];2005年全国开放式分布与并行计算学术会议论文集[C];2005年
8 倪俊峰;;基于黄页搜索引擎的关键字排名广告系统的设计与实现[A];2005年中国索引学会年会暨学术研讨会论文集[C];2005年
9 张怡;查贵庭;;SEO在信息服务中的应用研究[A];2010年中国索引学会年会暨学术研讨会论文集[C];2010年
10 陈援非;何哲;朱珍民;;基于普适计算的个性化搜索技术[A];第二届和谐人机环境联合学术会议(HHME2006)——第2届中国普适计算学术会议(PCC'06)论文集[C];2006年
中国重要报纸全文数据库 前10条
1 李一鑫;搜索排名的红与黑[N];财经时报;2007年
2 周文林;搜狗3.0能否撼动搜索市场[N];经济参考报;2007年
3 惠正一;比尔·盖茨:微软不怕Google[N];第一财经日报;2005年
4 赛迪顾问股份有限公司互联网与电子商务咨询中心 常燕杰;搜索,还是门户[N];中国计算机报;2005年
5 陈珊;浙江移动推出手机搜索引擎服务[N];人民邮电;2005年
6 赵法忠;搜索引擎还需悠着点[N];中国经营报;2005年
7 金朝力;搜索引擎火拼搜索质量[N];北京商报;2006年
8 本报记者  赵晓辉 孟昭丽;搜索引擎驶入“避风港”[N];中国证券报;2006年
9 孙琎;搜索引擎惊喜侵权官司止于“避风港”?[N];第一财经日报;2006年
10 姜蕊;问天下谁识搜索?[N];中国高新技术产业导报;2006年
中国博士学位论文全文数据库 前10条
1 岑荣伟;基于用户行为分析的搜索引擎评价研究[D];清华大学;2010年
2 李群;主题搜索引擎聚类算法的研究[D];北京林业大学;2011年
3 苏君华;面向搜索引擎的技术接受模型研究[D];南京大学;2011年
4 刘佐达;分布协作式搜索引擎模型及算法研究[D];清华大学;2011年
5 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年
6 郭眈;中文互联网视频搜索引擎系统策略研究[D];北京交通大学;2012年
7 王镠璞;基于用户体验的互联网搜索引擎医学信息检索可用性评估研究[D];吉林大学;2010年
8 李莎莎;面向搜索引擎的自然语言处理关键技术研究[D];国防科学技术大学;2011年
9 白玉琪;空间信息搜索引擎研究[D];中国科学院研究生院(遥感应用研究所);2003年
10 费巍;搜索引擎检索功能的性能评价研究[D];武汉大学;2010年
中国硕士学位论文全文数据库 前10条
1 李浩;分布式教育网信息检索系统的研究和实现[D];华南理工大学;2010年
2 封俊;基于Hadoop的分布式搜索引擎研究与实现[D];太原理工大学;2010年
3 田生伟;基于涉农词典的搜索引擎的研究与实践[D];新疆大学;2004年
4 司卫国;基于移动Agent的Web信息检索系统的研究[D];西安电子科技大学;2005年
5 陈瑶;基于移动Agent的Web信息检索系统的研究[D];武汉理工大学;2007年
6 薛云;Internet上元搜索引擎的研究与设计[D];太原理工大学;2003年
7 王春花;基于Nutch的农业搜索引擎检索结果排序策略的研究[D];西北农林科技大学;2010年
8 李雷;基于Nutch的农业信息搜索引擎实现和优化[D];吉林大学;2011年
9 王倩;基于概念格的个性化搜索引擎查询扩展研究[D];北京邮电大学;2008年
10 董晨;基于模糊聚类的个性化搜索引擎的研究[D];福州大学;2005年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026