聚焦爬行系统的设计—算法视角

【摘要】：爬虫是一类网络信息采集系统，它从一些给定的URL(称为种子URL集合)出发，通过下载URL对应的网页、分析页面内容、并跟随其中的链接来递归遍历整个Web。聚焦爬虫是一类特殊的爬虫，其主要目标是在有限的时间与网络带宽限制下尽可能多的采集与指定主题相关的高质量网页，忽略与主题无关或低质量的链接。目前，聚焦爬虫已在主题搜索引擎、数字图书馆建设和站点结构分析等方面取得越来越广泛的应用。 本文首先介绍了聚焦爬虫模型，对该领域中重要而富有创新性的研究成果做一个大致的介绍；接着深入探讨了聚焦爬行研究中的几个关键要素，包括如何设计好的Web分析算法来评估网页与主题的相关性与重要性(核心问题)、如何选择搜索策略以使URL访问顺序最优，如何获取好的种子URL集合，如何更好的表示主题。基于这些讨论，本文提出了一种可利用之前爬行数据自动改进其分析算法、主题表达与种子URL集合的聚焦爬虫，并深入讨论了其首次爬行和再次爬行算法。实验结果表明该算法的收获率(准确率)在大多数情况下优于基于宽度策略、基于PageRank和基于内容相似度分析的爬虫。