收藏本站
《西安电子科技大学》 2009年
收藏 | 手机打开
二维码
手机客户端打开本文

搜索引擎中网络爬虫技术研究

郭海燕  
【摘要】:随着Internet技术的迅速发展,Web信息呈指数增长,搜索引擎已经成为人们进行信息获取必不可少的工具。目前大多数的搜索引擎提供的服务还不能令用户满意,如何利用有限的系统资源搜集尽可能多、尽可能重要的网页已经成为研究的热点。本文设计并实现了一个网络爬虫系统,并对其中的核心算法做了深入探讨。 论文分析了搜索引擎的工作原理和体系结构;研究了网络爬虫的搜集策略,提出了一种改进的基于网页深度和带权重的反向链接相结合的搜集算法,并对该算法做了可行性验证;设计并实现了网络爬虫的关键算法,包括多线程的网页抓取,URL的去重,网页的调度等。此外,针对中文搜索引擎的特点,采用汉字编码的转换,实现了不同编码网页的统一存储;采用DNS解析缓存机制,使得信息搜集的速度明显加快;采用增量抓取机制,避免了因重复搜集未变化的网页带来的资源和时间耗费。实验结果表明,该网络爬虫的设计较好的满足了搜索引擎对海量数据处理的要求。
【学位授予单位】:西安电子科技大学
【学位级别】:硕士
【学位授予年份】:2009
【分类号】:TP391.3

【参考文献】
中国期刊全文数据库 前9条
1 刘晨曦;吴扬扬;;一种基于块分析的网页去噪音方法[J];广西师范大学学报(自然科学版);2007年02期
2 沈文勤,李庆超,邵志清;搜索引擎的渐增式爬行和备份式更新模式[J];华东理工大学学报;2004年03期
3 李盛韬;余智华;程学旗;白硕;;Web信息采集研究进展[J];计算机科学;2003年02期
4 尹江;尹治本;黄洪;;网络爬虫效率瓶颈的分析与解决方案[J];计算机应用;2008年05期
5 李晓明,凤旺森;两种对URL的散列效果很好的函数[J];软件学报;2004年02期
6 孟涛;王继民;闫宏飞;;网页变化与增量搜集技术[J];软件学报;2006年05期
7 高凯;王永成;肖君;;网页去重策略[J];上海交通大学学报;2006年05期
8 陈基漓;牛秦洲;;基于特征码的网页去重[J];微计算机信息;2006年09期
9 孟庆余;汉字编码字符集的新标准——GB18030-2000[J];微型机与应用;2000年12期
中国硕士学位论文全文数据库 前5条
1 陈鑫;中文智能搜索引擎[D];四川大学;2004年
2 王军;中文搜索引擎的设计与实现[D];华中科技大学;2004年
3 吴宝贵;搜索引擎中索引技术研究与实现[D];西安电子科技大学;2008年
4 王启户;面向远程教育的搜索引擎系统设计与实现[D];西安电子科技大学;2008年
5 岳舜;搜索引擎检索技术研究[D];西安电子科技大学;2008年
【共引文献】
中国期刊全文数据库 前10条
1 孙素芬;罗长寿;张峻峰;于峰;张树亮;;农业信息资源整合系统研究与应用[J];安徽农业科学;2007年22期
2 李玉鑑;操卫平;周兰珍;;结构化向量空间模型及其在Web信息检索中的应用[J];北京工业大学学报;2008年04期
3 朱华;浅谈网络信息资源采集技术[J];国家图书馆学刊;2004年02期
4 张帆;林建;;智能搜索引擎信息过滤机制研究[J];图书与情报;2007年04期
5 吴锐;丁树良;甘登文;;一种新的项目反应理论等值准则——余弦准则[J];江西师范大学学报(自然科学版);2008年02期
6 葛宇;梁静;陈晓敏;;搜索引擎系统中热点问题的探讨[J];成都电子机械高等专科学校学报;2009年04期
7 郭淼霞;;中文网页分类研究综述[J];赤峰学院学报(自然科学版);2011年12期
8 孟时;王彦;;larbin网络爬虫的体系结构[J];电脑学习;2010年04期
9 罗忠毅,李戎;当今主流汉字输入法述评——兼谈古籍整理适用的输入法[J];电脑知识与技术;2005年05期
10 罗金增;;基于模糊聚类的个性化Web信息检索系统研究[J];电脑知识与技术;2005年35期
中国重要会议论文全文数据库 前10条
1 翟伟斌;许榕生;;基于Internet的CIS研究[A];第十三届全国核电子学与核探测技术学术年会论文集(下册)[C];2006年
2 黄高平;苏金树;陈曙辉;;一种基于高速链路的Hash算法[A];2006年全国理论计算机科学学术年会论文集[C];2006年
3 邹永斌;陈兴蜀;王文贤;;一个高性能Web资源收集系统的设计与实现[A];2008'中国信息技术与应用学术论坛论文集(二)[C];2008年
4 王凯;刘代志;李东旭;齐玮;;地球物理环境情报搜集系统研究[A];国家安全地球物理丛书(四)——地球物理环境探测和目标信息获取与处理[C];2008年
5 顾寄南;陈晓燕;;检索系统专业化和智能化的研究与实现[A];走中国特色农业机械化道路——中国农业机械学会2008年学术年会论文集(下册)[C];2008年
6 张智江;王志军;张尼;;一种可应用于大流量环境下的双层散列算法研究[A];中国通信学会信息通信网络技术委员会2011年年会论文集(下册)[C];2011年
7 李盛韬;吴丽辉;于满泉;潘文锋;余智华;王斌;程学旗;;主题Web信息采集的研究与设计[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
8 张凯;李魁;张刚;王斌;;基于站点的Web信息采集器研究[A];第二届全国信息检索与内容安全学术会议(NCIRCS-2005)论文集[C];2005年
9 徐小琴;章成志;;Web信息检索中相关词提示技术与评测[A];第三届学生计算语言学研讨会论文集[C];2006年
10 陈志玮;肖诗斌;施水才;王昕;;一种基于HTML位置信息的查询扩展技术[A];第三届学生计算语言学研讨会论文集[C];2006年
中国博士学位论文全文数据库 前10条
1 刘朝涛;中文问答系统中的句型理论及其应用研究[D];重庆大学;2010年
2 杨瑞龙;基于短语特征的Web文档聚类方法研究[D];重庆大学;2010年
3 邸书灵;Agent联盟和流形学习在中文问答系统中的应用研究[D];天津大学;2010年
4 吴永辉;面向专业领域的网络信息采集及主题检测技术研究与应用[D];哈尔滨工业大学;2010年
5 吴丽辉;个性化的Web信息采集技术研究[D];中国科学院研究生院(计算技术研究所);2005年
6 彭涛;面向专业搜索引擎的主题爬行技术研究[D];吉林大学;2007年
7 刘伟;图像检索中若干问题的研究[D];浙江大学;2007年
8 谢鲲;布鲁姆过滤器查询算法及其应用研究[D];湖南大学;2007年
9 刘书暖;工艺知识发现与重用技术[D];西北工业大学;2007年
10 周健;结构化对等网络中的关键技术研究[D];中国科学技术大学;2008年
中国硕士学位论文全文数据库 前10条
1 雷斌;基于Java技术的智能化搜索引擎的研究与设计[D];哈尔滨工程大学;2010年
2 司贺华;网络内容审计系统关键技术研究与实现[D];哈尔滨工程大学;2010年
3 刘林;基于语义的元搜索引擎关键技术研究[D];河南工业大学;2010年
4 黄智斌;企业信息化整合的规划与设计[D];华东师范大学;2010年
5 李健;基于内容的新闻视频检索关键技术研究[D];哈尔滨理工大学;2010年
6 吕靖;互联网搜索词分类关键技术研究[D];浙江大学;2011年
7 李琼琼;网络文本自动分类器的设计与实现[D];电子科技大学;2010年
8 阿圆;高校校园网论坛热点话题发现系统的研究与实现[D];昆明理工大学;2009年
9 邓忠莹;中文文本倾向性分类系统研究[D];昆明理工大学;2009年
10 吕楠;话题追踪与演化分析技术研究[D];解放军信息工程大学;2009年
【二级参考文献】
中国期刊全文数据库 前10条
1 吴骏;对汉字排序和查找方法探讨[J];安徽大学学报(自然科学版);1996年02期
2 曹元大,贺海军,涂哲明;中文Web文档全文检索系统的设计及实现[J];北京理工大学学报;2002年01期
3 杨晓江;李丽娟;田俊华;李艺;;面向基础教育的Web资源垂直服务体系研究[J];中国远程教育;2006年07期
4 李康;教育技术与教育技术学的研究对象[J];电化教育研究;2004年01期
5 何克抗;建构主义——革新传统教学的理论基础(中)[J];电化教育研究;1997年04期
6 赖宁,何瑛秀;Internet中文搜索引擎刍议[J];高校图书馆工作;1999年04期
7 王铮,胡永杰;元搜索引擎的设计与实现[J];河北师范大学学报;2001年02期
8 林亚平;异或哈希算法查找中文词组性能评价[J];湖南大学学报(自然科学版);1994年05期
9 黄晓斌;中文搜寻引擎的现状与发展方向[J];华南理工大学学报(自然科学版);1998年S1期
10 荆涛,左万利;基于可视布局信息的网页噪音去除算法[J];华南理工大学学报(自然科学版);2004年S1期
中国硕士学位论文全文数据库 前5条
1 吴东华;Web信息获取技术研究[D];南京理工大学;2004年
2 王军;中文搜索引擎的设计与实现[D];华中科技大学;2004年
3 陈杰;主题搜索引擎中网络蜘蛛搜索策略研究[D];浙江大学;2006年
4 何世林;基于Java技术的搜索引擎研究与实现[D];西南交通大学;2006年
5 朱玉丽;基于网格技术的主题爬虫算法优化的研究与实现[D];沈阳工业大学;2007年
【相似文献】
中国期刊全文数据库 前10条
1 刘磊安;符志强;;基于Lucene.net网络爬虫的设计与实现[J];电脑知识与技术;2010年08期
2 刘洁清;吴京慧;;面向主题的个人实时搜索引擎的设计与实现[J];现代图书情报技术;2006年05期
3 王军;彭建;;网络爬虫的结构设计研究[J];科技信息(学术研究);2007年27期
4 邹海亮;孙莉;;可定制的聚焦网络爬虫[J];电子科技;2009年01期
5 何志文;郭利刚;;搜索引擎技术在互联网音视频节目监测系统中的应用[J];广播与电视技术;2009年03期
6 陶荣;陈燕;;基于Lucene小型搜索引擎的研究与实现[J];大众科技;2010年02期
7 石柯;周利兵;陶文兵;;基于移动代理的MAISE爬虫的设计与实现[J];华中科技大学学报(自然科学版);2005年S1期
8 曹忠;赵文静;;一种优化的网络爬虫的设计与实现[J];电脑知识与技术;2008年35期
9 徐远超;刘江华;刘丽珍;关永;;基于Web的网络爬虫的设计与实现[J];微计算机信息;2007年21期
10 谢娟文;秦淑娟;焦爱胜;;人工智能在搜索引擎资源获取中的应用[J];机械研究与应用;2009年02期
中国重要会议论文全文数据库 前10条
1 徐剑;柯贵明;;网络爬虫技术在搜索引擎中的应用[A];全国第21届计算机技术与应用学术会议(CACIS·2010)暨全国第2届安全关键技术与应用学术会议论文集[C];2010年
2 刘凡平;高艳华;于炯;张伟;;基于关键决策方法的站内搜索研究与实现[A];2010年全国开放式分布与并行计算机学术会议论文集[C];2010年
3 陶冶;刘建勋;唐明董;;基于Map/Reduce的分布式Web服务搜索引擎设计与实现[A];CCF NCSC 2011——第二届中国计算机学会服务计算学术会议论文集[C];2011年
4 彭轲;廖闻剑;;浅析搜索引擎[A];中国通信学会第五届学术年会论文集[C];2008年
5 李丹;;如何利用搜索引擎查找中医药信息[A];中国中医药信息研究会第二届理事大会暨学术交流会议论文汇编[C];2003年
6 邓长寿;郭景峰;杨焱林;邓安远;;下一代Web搜索引擎初探[A];第十八届全国数据库学术会议论文集(研究报告篇)[C];2001年
7 维尼拉·木沙江;吐尔洪·吾司曼;;维、哈、柯文搜索引擎中网页爬行器的设计与实现[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
8 王凯;刘代志;李东旭;齐玮;;地球物理环境情报搜集系统研究[A];国家安全地球物理丛书(四)——地球物理环境探测和目标信息获取与处理[C];2008年
9 汤薇;曾艳;;构建校园网搜索引擎必要性分析[A];广西计算机学会2008年年会论文集[C];2008年
10 姚树宇;赵少东;;一种使用分布式技术的搜索引擎[A];2005年全国开放式分布与并行计算学术会议论文集[C];2005年
中国重要报纸全文数据库 前10条
1 李一鑫;搜索排名的红与黑[N];财经时报;2007年
2 周文林;搜狗3.0能否撼动搜索市场[N];经济参考报;2007年
3 惠正一;比尔·盖茨:微软不怕Google[N];第一财经日报;2005年
4 赛迪顾问股份有限公司互联网与电子商务咨询中心 常燕杰;搜索,还是门户[N];中国计算机报;2005年
5 陈珊;浙江移动推出手机搜索引擎服务[N];人民邮电;2005年
6 赵法忠;搜索引擎还需悠着点[N];中国经营报;2005年
7 金朝力;搜索引擎火拼搜索质量[N];北京商报;2006年
8 本报记者  赵晓辉 孟昭丽;搜索引擎驶入“避风港”[N];中国证券报;2006年
9 孙琎;搜索引擎惊喜侵权官司止于“避风港”?[N];第一财经日报;2006年
10 姜蕊;问天下谁识搜索?[N];中国高新技术产业导报;2006年
中国博士学位论文全文数据库 前10条
1 李群;主题搜索引擎聚类算法的研究[D];北京林业大学;2011年
2 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年
3 岑荣伟;基于用户行为分析的搜索引擎评价研究[D];清华大学;2010年
4 苏君华;面向搜索引擎的技术接受模型研究[D];南京大学;2011年
5 刘佐达;分布协作式搜索引擎模型及算法研究[D];清华大学;2011年
6 郭眈;中文互联网视频搜索引擎系统策略研究[D];北京交通大学;2012年
7 王镠璞;基于用户体验的互联网搜索引擎医学信息检索可用性评估研究[D];吉林大学;2010年
8 李莎莎;面向搜索引擎的自然语言处理关键技术研究[D];国防科学技术大学;2011年
9 白玉琪;空间信息搜索引擎研究[D];中国科学院研究生院(遥感应用研究所);2003年
10 费巍;搜索引擎检索功能的性能评价研究[D];武汉大学;2010年
中国硕士学位论文全文数据库 前10条
1 梁萍;搜索引擎中网络爬虫及结果聚类的研究与实现[D];中国科学技术大学;2011年
2 龚勇;搜索引擎中网络爬虫的研究[D];武汉理工大学;2010年
3 夏亮;主题搜索引擎网络爬虫搜索策略的研究与实现[D];北京化工大学;2010年
4 郭海燕;搜索引擎中网络爬虫技术研究[D];西安电子科技大学;2009年
5 李春生;基于WEB信息采集的分布式网络爬虫搜索引擎的研究[D];吉林大学;2009年
6 苏旋;分布式网络爬虫技术的研究与实现[D];哈尔滨工业大学;2006年
7 封俊;基于Hadoop的分布式搜索引擎研究与实现[D];太原理工大学;2010年
8 周旭;BBS热点分析系统研究[D];北京交通大学;2007年
9 欧建斌;基于Web挖掘与信息分类的个性化搜索引擎研究[D];暨南大学;2010年
10 徐财应;基于Lucene的搜索引擎技术的研究与改进[D];长春理工大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026