收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于WEB挖掘的网络蜘蛛的研究与实现

詹晶晶  
【摘要】: 搜索引擎是从WWW上快速而有效地获取信息资源的捷径,而网络蜘蛛技术则是搜索引擎的关键。本文围绕WEB信息挖掘这一前沿性研究领域课题,结合搜索引擎框架的总体要求,实现了网络蜘蛛在互联网中的漫游,并将网页数据存储在本地数据库中,为以后网页搜索引擎的实现打下了良好的基础。 本文首先从搜索引擎的分类和组成出发,对搜索引擎的内部运行机制进行了了初步的了解,然后详细分析了网络蜘蛛技术实现的功能和搜索的策略。最后本文实现了一个网络蜘蛛在网络中的漫游,并能将网页数据存储在本地数据库中。 研究内容主要包含: 首先分析搜索引擎的工作原理,实现搜索引擎工作中的第一步一从互联网上抓取网页。其次详细阐述和分析了所用到的技术,特别是本文实现中所用到的HTTP协议、正则表达式、多线程和ADO.NET等技术。在已有网络蜘蛛技术的基础上,对网络蜘蛛的系统进行分析和设计,采用广度优先的搜索策略,结合多线程机制,实现了对内网和外网页面的抓取和页面内容分析的算法。 本文的创新点在于,首先,把正则表达式技术应用到WEB网页内容提取里面,快速有效地提取网页中的URL,实现了对内网和外网页面的抓取和页面内容分析的算法。最后使用Zlib数据压缩算法对网页数据进行压缩并存入本地数据库。其次,在读取网页信息模块的设计中,为了提高网页获取的速度,采用了一个特殊的错误URL处理策略,即通过服务器的响应时间来取决函数是否返回HTTP页面,把超时的URL放入错误队列,等待错误处理进程的处理。会使蜘蛛根据网络状况来快速处理服务器响应时间快的URL,从而提高蜘蛛的整体速度。 然后,通过在校园网上进行实验,并且读取存储在数据库中的网页数据,验证了该网络蜘蛛的可行性,证明系统己达到了预期的目标。 最后,对本课题下一步的主要工作内容进行系统的总结并做出简单的展望。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 蔡群力;;基于Web挖掘的教学资源搜索引擎的模型设计研究[J];福建教育学院学报;2008年07期
2 李国锋;李春伟;;网络搜索引擎技术探析[J];廊坊师范学院学报;2005年04期
3 程晓俊,朱卫平;浅谈超链挖掘技术在搜索引擎中的应用[J];福建电脑;2005年08期
4 杨占华;杨燕;;数据挖掘在智能搜索引擎中的应用[J];微计算机信息;2006年12期
5 云健;王春霞;;搜索引擎技术综述[J];河西学院学报;2008年02期
6 宋春阳;金可音;;Web搜索引擎技术综述[J];现代计算机(专业版);2008年05期
7 赖俊;周琳;张学平;;基于Web挖掘的主题式搜索引擎的设计[J];军事通信技术;2004年03期
8 郑志材;张晶;;基于JAVA的网络蜘蛛的设计与实现[J];硅谷;2009年14期
9 葛宇;梁静;陈晓敏;;搜索引擎系统中热点问题的探讨[J];成都电子机械高等专科学校学报;2009年04期
10 李树青;崔北亮;;基于个性化信息推荐服务的Web搜索引擎技术综述[J];情报杂志;2007年08期
11 雷丽秀;;互联网搜索引擎技术及展望[J];科技信息(学术研究);2008年20期
12 武晓娟;;基于网站的搜索引擎研究[J];大连海事大学学报;2008年S1期
13 于海涛;;Web挖掘技术在搜索引擎中的应用[J];齐齐哈尔师范高等专科学校学报;2009年06期
14 郑泳;;基于广度优先搜索的网络蜘蛛设计[J];软件导刊;2010年07期
15 任严;刘丽;韩臻;;基于网络视频的搜索引擎的设计与实现[J];中国科技信息;2007年11期
16 李静媛;浅谈搜索引擎应用技术[J];天津市财贸管理干部学院学报;2005年01期
17 修雅慧;邓文新;;个性化搜索引擎与Web挖掘技术[J];齐齐哈尔大学学报;2007年06期
18 戴明星;杜彦辉;;基于WebLech的内容搜索引擎设计[J];计算机工程;2008年09期
19 吴文庆;郭伟伟;;个性化搜索引擎与Web挖掘技术[J];中国科教创新导刊;2008年04期
20 吴文庆;郭伟伟;;个性化搜索引擎与Web挖掘技术[J];科技创新导报;2008年12期
中国重要会议论文全文数据库 前10条
1 李贺华;付鹤岗;;多Agent Web信息检索应用研究[A];2008年计算机应用技术交流会论文集[C];2008年
2 栾悉道;谢毓湘;文军;吴玲达;;基于知识库的主动式专题搜索引擎[A];第一届建立和谐人机环境联合学术会议(HHME2005)论文集[C];2005年
3 陈援非;何哲;朱珍民;;基于普适计算的个性化搜索技术[A];第二届和谐人机环境联合学术会议(HHME2006)——第2届中国普适计算学术会议(PCC'06)论文集[C];2006年
4 彭轲;廖闻剑;;浅析搜索引擎[A];中国通信学会第五届学术年会论文集[C];2008年
5 李丹;;如何利用搜索引擎查找中医药信息[A];中国中医药信息研究会第二届理事大会暨学术交流会议论文汇编[C];2003年
6 邓长寿;郭景峰;杨焱林;邓安远;;下一代Web搜索引擎初探[A];第十八届全国数据库学术会议论文集(研究报告篇)[C];2001年
7 维尼拉·木沙江;吐尔洪·吾司曼;;维、哈、柯文搜索引擎中网页爬行器的设计与实现[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
8 汤薇;曾艳;;构建校园网搜索引擎必要性分析[A];广西计算机学会2008年年会论文集[C];2008年
9 姚树宇;赵少东;;一种使用分布式技术的搜索引擎[A];2005年全国开放式分布与并行计算学术会议论文集[C];2005年
10 倪俊峰;;基于黄页搜索引擎的关键字排名广告系统的设计与实现[A];2005年中国索引学会年会暨学术研讨会论文集[C];2005年
中国博士学位论文全文数据库 前10条
1 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年
2 岑荣伟;基于用户行为分析的搜索引擎评价研究[D];清华大学;2010年
3 李群;主题搜索引擎聚类算法的研究[D];北京林业大学;2011年
4 苏君华;面向搜索引擎的技术接受模型研究[D];南京大学;2011年
5 刘佐达;分布协作式搜索引擎模型及算法研究[D];清华大学;2011年
6 郭眈;中文互联网视频搜索引擎系统策略研究[D];北京交通大学;2012年
7 王镠璞;基于用户体验的互联网搜索引擎医学信息检索可用性评估研究[D];吉林大学;2010年
8 李莎莎;面向搜索引擎的自然语言处理关键技术研究[D];国防科学技术大学;2011年
9 白玉琪;空间信息搜索引擎研究[D];中国科学院研究生院(遥感应用研究所);2003年
10 孙建涛;Web挖掘中的降维和分类方法研究[D];清华大学;2005年
中国硕士学位论文全文数据库 前10条
1 詹晶晶;基于WEB挖掘的网络蜘蛛的研究与实现[D];厦门大学;2007年
2 胡小睿;基于Web挖掘的搜索引擎技术研究[D];武汉大学;2005年
3 李凯;Web挖掘在教学资源搜索引擎中的应用研究[D];东北师范大学;2007年
4 杨春伟;Web挖掘及其在网络搜索引擎中的应用研究[D];中国石油大学;2007年
5 张会;搜索引擎的研究与设计[D];电子科技大学;2008年
6 薛建春;垂直搜索引擎中网络蜘蛛的设计与实现[D];中国地质大学(北京);2007年
7 周炳;基于K-L变换的权威页面挖掘的算法[D];华中科技大学;2006年
8 何世林;基于Java技术的搜索引擎研究与实现[D];西南交通大学;2006年
9 任严;基于网络视频业务的搜索引擎的设计与实现[D];北京交通大学;2008年
10 胡晓翠;站点搜索引擎的研究与实现[D];武汉科技大学;2009年
中国重要报纸全文数据库 前10条
1 李一鑫;搜索排名的红与黑[N];财经时报;2007年
2 周文林;搜狗3.0能否撼动搜索市场[N];经济参考报;2007年
3 惠正一;比尔·盖茨:微软不怕Google[N];第一财经日报;2005年
4 赛迪顾问股份有限公司互联网与电子商务咨询中心 常燕杰;搜索,还是门户[N];中国计算机报;2005年
5 陈珊;浙江移动推出手机搜索引擎服务[N];人民邮电;2005年
6 赵法忠;搜索引擎还需悠着点[N];中国经营报;2005年
7 金朝力;搜索引擎火拼搜索质量[N];北京商报;2006年
8 本报记者  赵晓辉 孟昭丽;搜索引擎驶入“避风港”[N];中国证券报;2006年
9 孙琎;搜索引擎惊喜侵权官司止于“避风港”?[N];第一财经日报;2006年
10 姜蕊;问天下谁识搜索?[N];中国高新技术产业导报;2006年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978