分布式Web信息采集关键技术研究
【摘要】:近20年来,为了应对Web上信息量的不断增长以及信息更新频度的不断提高,Web信息采集系统不断扩大自身规模,其系统结构也从单机到多机,从集中式到分布式逐步演进。至今,分布式系统结构已经成为构建Web信息采集系统的首选方案,而由分布式系统结构所引申出的Web划分问题、任务调度问题和节点协同问题已经成为构建分布式Web信息采集系统的关键技术问题。对这些关键技术问题的深入分析与研究对于提高搜索引擎系统的性能乃至整个Web的可访问性具有重要意义。本文在总结前人工作的基础上,针对分布式Web信息采集系统的若干关键技术问题进行了深入研究。
首先,现有的分布式Web信息采集系统乃至分布式搜索引擎系统都缺乏对系统构建中的最根本要素--系统成本的量化评估,为此,本文提出了一个较为完善的包括分布式Web信息采集系统在内的分布式搜索引擎的成本模型,并利用该成本模型对若干种构建搜索引擎系统的设计方案从系统成本、系统规模和查询响应时间等角度进行了详尽的理论分析。我们发现,由广域网分布式采集系统和多机群索引系统组成的半广域网搜索引擎系统相对于其他搜索引擎系统具有相对较低的成本,同时能够较好的兼顾对用户的服务质量。
之后,针对在分布式环境下如何能够有效降低网页下载时间这一问题,本文对面向网络距离的Web划分算法进行了研究,给出了适用于分布式采集系统的网络距离的度量标准;基于网络距离和网络坐标系统,我们提出了一种新的Web划分算法,并通过实验验证了其在提高系统吞吐量方面的优越性。
针对广域网分布式Web信息采集系统,本文分别在任务调度和节点协同方面提出了若干优化方法:针对Web划分方法在动态调度中的不足,提出了基于任务转发的动态负载均衡算法,避免了采集节点的忙闲不均现象,进一步提高了全系统的吞吐量;针对广域网分布式Web信息采集系统中节点间通信量负载较重的问题,提出通过对Web主机之间链接关系建立坐标模型的方法,实现面向链接关系的Web划分,从而降低了采集节点间通信量中比重最大的链接交换的通信量。
最后,为了兼顾分布式Web信息采集中的健壮性、效率和成本,本文提出了一种基于内容寻址网络的广域网分布式Web信息采集系统,该系统能够利用网络上分布在各处的独立的计算资源,组建一个能够完成Web信息采集功能的覆盖网络,从而为这三个问题提供了有效的解决方案:一方面,内容寻址网络这种P2P协议的采用,使得系统可以随着Web一起扩展和壮大;另一方面,Web划分大幅缩短Web信息采集时间,提高了系统的吞吐量及信息更新频率;同时,根据我们提出的成本模型分析,该系统还能够降低系统成本。
|
|
|
|
1 |
宋如顺,姜乃松;基于Web的远程考试系统设计与实现[J];计算机工程;1999年06期 |
2 |
王红霞,姚家亮;利用ASP构建新型信息系统的方法与实现[J];计算机应用;1999年09期 |
3 |
邓劲生,张银福;面向对象的多媒体信息WEB发布[J];计算机应用研究;1999年09期 |
4 |
刁兴春,李赤红;Intranet环境下事务处理的理论研究和实现[J];小型微型计算机系统;1999年06期 |
5 |
高昆;基于ASP的WEB站点开发技术分析[J];北华大学学报(社会科学版);1999年05期 |
6 |
王清心,胡建华;经贸数据库的WEB集成发布[J];昆明理工大学学报;1999年02期 |
7 |
李晶,朱秋萍;Web页制作中的动态表现技术[J];计算机工程;2000年06期 |
8 |
刘波,代亚非,杜跃进;远程协同教学系统中课程搜索子系统设计[J];计算机应用;2000年06期 |
9 |
武庄,刘友丹;基于Web的企业内部质量审核系统设计与实现[J];计算机应用研究;2000年05期 |
10 |
梁开健,刘新民;基于ASP的图书馆Web数据库开发[J];高校图书馆工作;2000年04期 |
11 |
张睿光,黄玉超;基于ASP技术的气象信息系统软件设计[J];河南气象;2000年01期 |
12 |
张少敏,王保义;基于Web的管理信息系统方案及其安全性[J];华北电力大学学报;2001年01期 |
13 |
贺文,顾训穰;基于Web的客户端电子邮件系统的实现[J];计算机工程与应用;2001年08期 |
14 |
刘国华,包宏,李文超;基于WEB的人工神经网络材料设计系统[J];计算机工程与应用;2001年20期 |
15 |
冯晓君,李也白;构建Internet环境下的CAI课件数据库系统[J];计算机应用;2001年03期 |
16 |
陈扬枝,张见威;基于Web的机械设计材料库系统[J];现代制造工程;2001年12期 |
17 |
沈祥玖,李作纬,宋义发,尹涛;利用ASP实现对Web数据库的访问[J];济南交通高等专科学校学报;2001年02期 |
18 |
张静芳,陶跃军;刍议《中文期刊数据库》Web版全文检索系统[J];图书馆学研究;2001年02期 |
19 |
曹向东,邓毅华,李斯伟;一种网络化教学信息管理系统的开发与设计[J];中国数据通信;2001年03期 |
20 |
张国珍,李晓明;优化网络应用性能的电量采集与分析系统设计[J];高电压技术;2002年12期 |
|