收藏本站
收藏 | 论文排版

主题爬虫搜索Web页面策略的研究

袁浩  
【摘要】: 随着互联网的高速发展,通用爬虫在浩瀚如海的网络世界里,对高效提取有效网页信息显得越来越力不从心。而主题爬虫是解决通用搜索引擎可扩展性限制的有效方法。它可以指导抓取URL链接,并有效的析取与目标网页相关度高的网页内容。本文通过制定框架,并以一些性能指标为依据来评价主题爬虫算法,并结合分析研究以及开发之间的偏差可以得到它的最优性能。本文分析了各种不同类型的爬虫算法,并讨论他们的性能表现。 本文中提出了一种基于分层马尔科夫模型来区别网站和网页文本之间的传输方法。基于这一模型提出了两种不同的方法计算网站排名,一个是集中式的,一个是分散式的。这两种方法都根据Web图来得到网站排名。这两种方法作用是相同的,但是改进的算法需要为搜索引擎的建立端到端的架构,这一架构为基于链接的排名计算提供了理论基础,并使计算分散性的网络规模图成为可行。此外,网站排名可以在本地或者整个网络中进行计算。通过修改Lucene和Heritrix开源组件建立主题搜索引擎,实证结果表明,使用这个模型产生的排名与PageRank产生的排名相比性能是相近甚至更优的。 本文还提出了一种文本分类方法,通过分析网页标题,对抓取的网页内容主题进行分类,这一方法可以降低原本计算复杂的文本分类方法的工作强度。实验表明,使用这一分类算法,可以有效地提高计算效率。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 夏崇镨;康丽;;基于叙词表的主题爬虫技术研究[J];现代图书情报技术;2007年05期
2 陈晨;;基于主题爬虫的个性化搜索引擎技术研究[J];黑龙江科技信息;2010年31期
3 赵思佳;尹婷;;基于规则引擎的个性化主题网页爬虫的研究[J];计算机技术与发展;2011年03期
4 陈芸;Google的排名算法分析[J];景德镇高专学报;2005年02期
5 秦学勇;;基于互联网资源的学科Ontology构建研究[J];廊坊师范学院学报(自然科学版);2011年02期
6 焦金涛;;基于PageRank的Web挖掘改进算法[J];计算机工程;2009年15期
7 庞敏;周海英;;Web结构挖掘在搜索引擎中的应用[J];软件导刊;2008年12期
8 汪斌;张云伟;刘健;陈晶;;一种面向农业信息主题网络爬虫的设计[J];安徽农业科学;2009年20期
9 高灵霞;;基于主题爬虫的个性化搜索引擎技术分析[J];电脑知识与技术;2009年32期
10 何毅;;建筑院校主题搜索引擎设计与实现[J];吉林建筑工程学院学报;2010年05期
11 戚华春,黄德才,郑月锋;具有时间反馈的PageRank改进算法[J];浙江工业大学学报;2005年03期
12 刘国靖;康丽;罗长寿;;基于遗传算法的主题爬虫策略[J];计算机应用;2007年S2期
13 李卫东;陆玲;;融合VSM技术的PageRank算法研究与应用[J];计算机与现代化;2011年07期
14 王煜;;搜索引擎中网站排名的影响因素[J];中国科技信息;2007年03期
15 徐德志;申红婷;;网页排名算法及其应用[J];贵州大学学报(自然科学版);2007年05期
16 任辉;;基于关键词的生物主题爬虫设计[J];图书情报工作;2009年09期
17 池勇敏;郝泳涛;;分布式主题爬虫的设计与实现[J];计算机应用与软件;2010年12期
18 县小平;;一种改进的PageRank算法[J];太原师范学院学报(自然科学版);2011年01期
19 徐诗亮;;一种基于概念空间的主题爬虫设计方法[J];福建电脑;2008年10期
20 徐家树,邢立新,覃征;基于链接文本相关度的超链接算法(英文)[J];哈尔滨商业大学学报(自然科学版);2005年03期
中国重要会议论文全文数据库 前10条
1 彭轲;廖闻剑;;浅析搜索引擎[A];中国通信学会第五届学术年会论文集[C];2008年
2 李丹;;如何利用搜索引擎查找中医药信息[A];中国中医药信息研究会第二届理事大会暨学术交流会议论文汇编[C];2003年
3 邓长寿;郭景峰;杨焱林;邓安远;;下一代Web搜索引擎初探[A];第十八届全国数据库学术会议论文集(研究报告篇)[C];2001年
4 维尼拉·木沙江;吐尔洪·吾司曼;;维、哈、柯文搜索引擎中网页爬行器的设计与实现[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
5 汤薇;曾艳;;构建校园网搜索引擎必要性分析[A];广西计算机学会2008年年会论文集[C];2008年
6 姚树宇;赵少东;;一种使用分布式技术的搜索引擎[A];2005年全国开放式分布与并行计算学术会议论文集[C];2005年
7 倪俊峰;;基于黄页搜索引擎的关键字排名广告系统的设计与实现[A];2005年中国索引学会年会暨学术研讨会论文集[C];2005年
8 张怡;查贵庭;;SEO在信息服务中的应用研究[A];2010年中国索引学会年会暨学术研讨会论文集[C];2010年
9 陈援非;何哲;朱珍民;;基于普适计算的个性化搜索技术[A];第二届和谐人机环境联合学术会议(HHME2006)——第2届中国普适计算学术会议(PCC'06)论文集[C];2006年
10 杨萌;李春丽;朱明;;网络搜索技术下的编辑工作[A];学报编辑论丛(第十一集)[C];2003年
中国博士学位论文全文数据库 前10条
1 岑荣伟;基于用户行为分析的搜索引擎评价研究[D];清华大学;2010年
2 李群;主题搜索引擎聚类算法的研究[D];北京林业大学;2011年
3 苏君华;面向搜索引擎的技术接受模型研究[D];南京大学;2011年
4 刘佐达;分布协作式搜索引擎模型及算法研究[D];清华大学;2011年
5 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年
6 郭眈;中文互联网视频搜索引擎系统策略研究[D];北京交通大学;2012年
7 王镠璞;基于用户体验的互联网搜索引擎医学信息检索可用性评估研究[D];吉林大学;2010年
8 李莎莎;面向搜索引擎的自然语言处理关键技术研究[D];国防科学技术大学;2011年
9 白玉琪;空间信息搜索引擎研究[D];中国科学院研究生院(遥感应用研究所);2003年
10 费巍;搜索引擎检索功能的性能评价研究[D];武汉大学;2010年
中国硕士学位论文全文数据库 前10条
1 袁浩;主题爬虫搜索Web页面策略的研究[D];中南大学;2009年
2 温泉;基于聚焦相关度排序的搜索引擎研究与应用[D];东华大学;2010年
3 薛云;Internet上元搜索引擎的研究与设计[D];太原理工大学;2003年
4 王春花;基于Nutch的农业搜索引擎检索结果排序策略的研究[D];西北农林科技大学;2010年
5 李雷;基于Nutch的农业信息搜索引擎实现和优化[D];吉林大学;2011年
6 董晨;基于模糊聚类的个性化搜索引擎的研究[D];福州大学;2005年
7 封俊;基于Hadoop的分布式搜索引擎研究与实现[D];太原理工大学;2010年
8 龚勇;搜索引擎中网络爬虫的研究[D];武汉理工大学;2010年
9 李浩;分布式教育网信息检索系统的研究和实现[D];华南理工大学;2010年
10 尉建兴;基于Lucene搜索引擎的研究与应用[D];太原理工大学;2011年
中国重要报纸全文数据库 前10条
1 李一鑫;搜索排名的红与黑[N];财经时报;2007年
2 周文林;搜狗3.0能否撼动搜索市场[N];经济参考报;2007年
3 惠正一;比尔·盖茨:微软不怕Google[N];第一财经日报;2005年
4 赛迪顾问股份有限公司互联网与电子商务咨询中心 常燕杰;搜索,还是门户[N];中国计算机报;2005年
5 陈珊;浙江移动推出手机搜索引擎服务[N];人民邮电;2005年
6 赵法忠;搜索引擎还需悠着点[N];中国经营报;2005年
7 金朝力;搜索引擎火拼搜索质量[N];北京商报;2006年
8 本报记者  赵晓辉 孟昭丽;搜索引擎驶入“避风港”[N];中国证券报;2006年
9 孙琎;搜索引擎惊喜侵权官司止于“避风港”?[N];第一财经日报;2006年
10 姜蕊;问天下谁识搜索?[N];中国高新技术产业导报;2006年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978