收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

中文搜索引擎的设计与实现

王军  
【摘要】:搜索引擎是Web信息检索的主要工具,Crawler是搜索引擎的核心组件,用于搜集Web页面。实现一个可扩展、高性能、大规模的中文搜索引擎,核心是设计一个可扩展、高性能、大规模的Crawler。 考虑到Web的容量以及增长速度,设计了并行Crawler系统,该系统由多个Crawler进程组成,每个Crawler进程运行在一台机器上,一台机器只运行一个Crawler进程。Crawler进程有自己的本地页面库和本地索引库,它下载的页面以及对页面建立的索引分别保存在本地页面库和本地索引库中。 为了在各个Crawler进程之间进行协调,避免并行Crawler系统下载页面重叠,设计了URL服务器。它运行在单一机器上,用于在各个Crawler进程之间分配URL,以及存放Crawler进程新发现的URL。考虑到数据库的负载,实现了多数据库并行存取技术。 每个Crawler进程就是一个小型搜索引擎,这些搜索引擎一起组成了一个大规模搜索引擎,为了在多个Crawler上进行检索,设计了检索服务器,它将用户的检索请求提交给各个Crawler,由Crawler查询自己的索引库,并将检索结果返回给检索服务器,检索服务器对结果排序输出。 为了减少页面集批量更新的巨大开销,研究了增量式Crawler。它用于对页面集中某些页面进行更新以便达到刷新整个页面集的目的。但是增量式Crawler需要知道页面集中哪些页面发生了变化,为此使用人工神经网络建立了页面变化模型,该模型可以预测页面下一次变化的时间,从而确定对Web上实际页面进行重访来完成页面集的刷新任务。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 孙桂荣;从网络信息检索工具的现状看其发展特点[J];现代情报;2004年12期
2 谢红侠;惠正运;;一种面向文档的XML的索引查询方法[J];微机发展;2005年12期
3 赵红梅;互联网实时信息搜索引擎[J];大众标准化;2004年12期
4 张磊;;搜索引擎综述[J];泰州科技;2008年08期
5 刘正春,蒋福坤;搜索引擎定量评价模型研究[J];大学数学;2004年04期
6 刘飞;高红艳;;基于数据挖掘的Web信息检索的研究[J];江西科学;2008年02期
7 戴建中;GnetFtp搜索引擎的算法设计与实现[J];汕头大学学报(自然科学版);2005年03期
8 孟晓明;;浅谈搜索引擎及其发展趋势[J];福建电脑;2006年03期
9 张婕;袁力田;;搜索引擎在网络信息挖掘中的应用[J];电脑与电信;2006年07期
10 程彩凤;杜友福;;搜索引擎技术分析[J];科技信息;2007年01期
11 徐以斌;;试析搜索引擎技术在网络信息挖掘中的应用[J];农业图书情报学刊;2007年04期
12 叶云;梁京章;;基于Lucene的搜索引擎在远程教育平台中的应用[J];现代计算机;2007年04期
13 陈勇跃,张玉峰;智能技术在搜索引擎中的应用[J];情报杂志;2004年02期
14 云健;王春霞;;搜索引擎技术综述[J];河西学院学报;2008年02期
15 武红;李成城;;图书馆电子文献检索[J];内蒙古师范大学学报(哲学社会科学版);2008年S3期
16 许洪超;袁培燕;;智能搜索引擎系统的建模分析[J];福建电脑;2009年08期
17 张继刚;搜索引擎使用技巧[J];网络与信息;1999年09期
18 ;关键词搜索[J];每周电脑报;2000年38期
19 陈冰;;饿狼一样的网站提交工具——“提交饿狼”[J];科学之友;2000年07期
20 周毅华;从搜索引擎的分类看其应用技巧[J];图书馆理论与实践;2002年06期
中国重要会议论文全文数据库 前10条
1 彭轲;廖闻剑;;浅析搜索引擎[A];中国通信学会第五届学术年会论文集[C];2008年
2 李丹;;如何利用搜索引擎查找中医药信息[A];中国中医药信息研究会第二届理事大会暨学术交流会议论文汇编[C];2003年
3 邓长寿;郭景峰;杨焱林;邓安远;;下一代Web搜索引擎初探[A];第十八届全国数据库学术会议论文集(研究报告篇)[C];2001年
4 维尼拉·木沙江;吐尔洪·吾司曼;;维、哈、柯文搜索引擎中网页爬行器的设计与实现[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
5 张健沛;徐泼;杨静;;一种轻量级个性化搜索引擎系统[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
6 汤薇;曾艳;;构建校园网搜索引擎必要性分析[A];广西计算机学会2008年年会论文集[C];2008年
7 姚树宇;赵少东;;一种使用分布式技术的搜索引擎[A];2005年全国开放式分布与并行计算学术会议论文集[C];2005年
8 倪俊峰;;基于黄页搜索引擎的关键字排名广告系统的设计与实现[A];2005年中国索引学会年会暨学术研讨会论文集[C];2005年
9 李贺华;付鹤岗;;多Agent Web信息检索应用研究[A];2008年计算机应用技术交流会论文集[C];2008年
10 张怡;查贵庭;;SEO在信息服务中的应用研究[A];2010年中国索引学会年会暨学术研讨会论文集[C];2010年
中国博士学位论文全文数据库 前10条
1 岑荣伟;基于用户行为分析的搜索引擎评价研究[D];清华大学;2010年
2 李群;主题搜索引擎聚类算法的研究[D];北京林业大学;2011年
3 苏君华;面向搜索引擎的技术接受模型研究[D];南京大学;2011年
4 刘佐达;分布协作式搜索引擎模型及算法研究[D];清华大学;2011年
5 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年
6 郭眈;中文互联网视频搜索引擎系统策略研究[D];北京交通大学;2012年
7 王镠璞;基于用户体验的互联网搜索引擎医学信息检索可用性评估研究[D];吉林大学;2010年
8 李莎莎;面向搜索引擎的自然语言处理关键技术研究[D];国防科学技术大学;2011年
9 白玉琪;空间信息搜索引擎研究[D];中国科学院研究生院(遥感应用研究所);2003年
10 费巍;搜索引擎检索功能的性能评价研究[D];武汉大学;2010年
中国硕士学位论文全文数据库 前10条
1 王军;中文搜索引擎的设计与实现[D];华中科技大学;2004年
2 薛云;Internet上元搜索引擎的研究与设计[D];太原理工大学;2003年
3 王春花;基于Nutch的农业搜索引擎检索结果排序策略的研究[D];西北农林科技大学;2010年
4 李雷;基于Nutch的农业信息搜索引擎实现和优化[D];吉林大学;2011年
5 董晨;基于模糊聚类的个性化搜索引擎的研究[D];福州大学;2005年
6 封俊;基于Hadoop的分布式搜索引擎研究与实现[D];太原理工大学;2010年
7 李浩;分布式教育网信息检索系统的研究和实现[D];华南理工大学;2010年
8 尉建兴;基于Lucene搜索引擎的研究与应用[D];太原理工大学;2011年
9 李建平;智能化WEB信息搜索引擎的研究与实现[D];大庆石油学院;2003年
10 田生伟;基于涉农词典的搜索引擎的研究与实践[D];新疆大学;2004年
中国重要报纸全文数据库 前10条
1 李一鑫;搜索排名的红与黑[N];财经时报;2007年
2 周文林;搜狗3.0能否撼动搜索市场[N];经济参考报;2007年
3 惠正一;比尔·盖茨:微软不怕Google[N];第一财经日报;2005年
4 赛迪顾问股份有限公司互联网与电子商务咨询中心 常燕杰;搜索,还是门户[N];中国计算机报;2005年
5 陈珊;浙江移动推出手机搜索引擎服务[N];人民邮电;2005年
6 赵法忠;搜索引擎还需悠着点[N];中国经营报;2005年
7 金朝力;搜索引擎火拼搜索质量[N];北京商报;2006年
8 本报记者  赵晓辉 孟昭丽;搜索引擎驶入“避风港”[N];中国证券报;2006年
9 孙琎;搜索引擎惊喜侵权官司止于“避风港”?[N];第一财经日报;2006年
10 姜蕊;问天下谁识搜索?[N];中国高新技术产业导报;2006年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978