收藏本站
《浙江大学》 2005年
收藏 | 手机打开
二维码
手机客户端打开本文

主题(topical)crawler及其应用——主题搜索引擎

吕韩飞  
【摘要】:www信息量的飞速增长对通用网络机器人(crawler,spider)和搜索引擎呈现了空前的挑战。越来越多的人希望能够快速且有效地找到自己所需要的信息。文章在jeffheaton的bot包(又称spider)基础上,提出了一个新的文本资源发现系统称为主题crawler(topical crawler)。主题crawler的目标是有选择地查找与预定主题相关的网页,而不像spider一样,收集和索引所有可访问的web页,这样可以避免访问不相关的网页,同时也有助于节省硬件和网络资源。主题crawler对jeffheaton的spider主要在网页的解析,爬行算法等方面进行了改进;并为它添加了中文分词,通用的输入输出接口等功能;同时,在已有的网页更新策略的基础上,提出了一种新网页更新算法,从理论上证明了该算法的有效性。 文章使用网络机器人的一个应用——搜索引擎来检验jeffheaton的spider及主题crawler的性能。主题搜索引擎主要由搜索网页的主题crawler,为所下载网页建立索引库的索引部分和查找部分组成。其中后两部分的功能我们使用开源软件lucene来实现。
【学位授予单位】:浙江大学
【学位级别】:硕士
【学位授予年份】:2005
【分类号】:TP391.3

【引证文献】
中国硕士学位论文全文数据库 前7条
1 史炜;个性化搜索引擎的研究与设计[D];电子科技大学;2010年
2 万小容;基于主题信息采集中网页分类系统研究[D];昆明理工大学;2006年
3 郑莉霞;基于文本的Web图像检索技术研究[D];广西大学;2007年
4 吕昊;面向垂直搜索的聚焦爬虫研究及应用[D];浙江大学;2008年
5 李广丽;垂直搜索引擎的研究与设计[D];华东交通大学;2008年
6 王鹏;垂直搜索引擎的研究[D];武汉理工大学;2010年
7 东兴;垂直搜索引擎关键技术研究[D];浙江理工大学;2012年
【共引文献】
中国期刊全文数据库 前10条
1 范胜君,吴祝武,王亚军;随机变量若干性质的研究[J];彭城职业大学学报;2004年05期
2 张子贤,王瑞恩,刘家春;水泵机组运行的可靠度探讨[J];排灌机械;1997年04期
3 黄晓榕;;经济信息价格评估以及贝叶斯方法的应用[J];莆田学院学报;2006年01期
4 李晓红;;假设检验中原假设的选取问题[J];平原大学学报;2006年06期
5 莫文辉;黄其柏;;改进的Monte Carlo模拟[J];攀枝花学院学报;2008年03期
6 潘寿红;我国科技信息领域数据库研究的现状和发展趋势[J];情报理论与实践;1994年06期
7 唐克;孙来彬;管继平;;基于信息熵的炮兵射击目标选优分析[J];指挥控制与仿真;2007年05期
8 骆文辉;杨建军;;激光防空武器杀伤概率[J];指挥控制与仿真;2007年06期
9 杨荣芳;周惠;;靶场光学测量数据异方差性检验及修正[J];指挥控制与仿真;2008年04期
10 鹿应荣,李显生,王云鹏,霍炜;国产汽车的整车可靠性评价[J];汽车工程;2001年02期
中国重要会议论文全文数据库 前10条
1 张马兵;杨应红;董保华;卢逢刚;;安庆市近50年日照特征变化分析[A];第三届安徽科技论坛农业与气候生态学术研讨会论文集[C];2004年
2 冯玉光;秦亮;代进进;丛海鹏;;主成分分析法在薄板坯连铸连轧生产线质量控制问题中的应用[A];2006北京地区高校研究生学术交流会——通信与信息技术会议论文集(下)[C];2006年
3 曾薇;孟祥旭;杨承磊;黄磊;李学庆;;基于离散隐Markov模型的在线手写体识别系统[A];第一届建立和谐人机环境联合学术会议(HHME2005)论文集[C];2005年
4 李铁军;陈明强;何志雄;;一个预测模型及其在油田开发中的应用[A];1999中国控制与决策学术年会论文集[C];1999年
5 慕春棣;何文波;;基于数据仓库的面向质量管理的决策支持系统[A];1997年中国控制会议论文集[C];1997年
6 王卫杰;张占月;;基于期望值建模的卫星信息支援作战仿真[A];'2008系统仿真技术及其应用学术会议论文集[C];2008年
7 徐明星;宋战江;郑方;吴文虎;;汉语语音水平评价方法研究[A];第五届全国人机语音通讯学术会议论文集[C];1998年
8 于崇波;蔺厚瑜;;应用一元线性回归分析全铁和磁性铁的含量关系[A];第五届全国矿山采选技术进展报告会论文集[C];2006年
9 张龙根;;卷烟理化参数与烟气焦油量的回归分析研究[A];上海烟草系统2004年度优秀学术论文集[C];2004年
10 张煜婕;王宏飞;王秀春;;红外弱小目标及其场景仿真的改进方法[A];2007'仪表,自动化及先进集成技术大会论文集(二)[C];2007年
中国硕士学位论文全文数据库 前10条
1 尉建兴;基于Lucene搜索引擎的研究与应用[D];太原理工大学;2011年
2 王海潮;基于网页结构的信息抽取关键技术研究[D];华南理工大学;2011年
3 杨方蓉;Web信息内容变化检测技术研究与实现[D];西南交通大学;2011年
4 李蓉;面向主题的搜索引擎的设计与实现[D];华东交通大学;2011年
5 杨颂;面向电子商务网站的增量爬虫设计与实现[D];湖南大学;2010年
6 熊建珍;落锤动刚度仪的仿真计算分析及试验研究[D];铁道部科学研究院;2000年
7 王俊燕;固定交通需求条件下高速公路最优费率的研究[D];河北工业大学;2000年
8 李国清;公路汽车轴重合理限值技术经济研究[D];河北工业大学;2000年
9 张煜;CT和MR1图象配准方法的研究及图象的信息融合[D];第一军医大学;2000年
10 孔祥波;基于短时幅度谱估计的语音增强方法研究[D];大连理工大学;2000年
【同被引文献】
中国期刊全文数据库 前10条
1 刘畅;;综合搜索引擎与垂直搜索引擎的比较研究[J];情报科学;2007年01期
2 曾民族;网络信息检索现状和性能评价[J];情报学报;1997年02期
3 周大勇;网络环境下的个性化需求与个性化信息服务[J];情报杂志;2001年11期
4 奉国和;;自动文本分类技术研究[J];情报杂志;2007年12期
5 李广丽;刘觉夫;;垂直搜索引擎系统的研究与实现[J];情报杂志;2009年10期
6 王睿,张洁,张由仪,于禛,姚天昉;基于混合模型的中文命名实体抽取系统[J];清华大学学报(自然科学版);2005年S1期
7 潘金贵,胡学联,李俊,张灵玲;一个个性化的信息搜集Agent的设计与实现[J];软件学报;2001年07期
8 黄萱菁,夏迎炬,吴立德;基于向量空间模型的文本过滤系统[J];软件学报;2003年03期
9 张岭,叶允明,宋晖,于水,马范援;一种高性能分布式Web Crawler的设计与实现[J];上海交通大学学报;2004年01期
10 管建和;甘剑峰;;基于Lucene全文检索引擎的应用研究与实现[J];计算机工程与设计;2007年02期
中国硕士学位论文全文数据库 前10条
1 王崑崙;中文网页自动分类的一种实现[D];大连理工大学;2002年
2 侯震宇;主题型搜索引擎的研究与实现[D];中国科学院研究生院(文献情报中心);2003年
3 余晨;面向主题的WWW信息挖掘及实验系统TWIMS[D];中国科学院研究生院(软件研究所);2002年
4 袁莉;基于Web的个性化信息服务机制[D];四川大学;2001年
5 史鹏辉;专业服务网站搜索引擎的设计与实现[D];大连理工大学;2004年
6 吴东华;Web信息获取技术研究[D];南京理工大学;2004年
7 刘彤彦;WWW图像分类方法研究[D];山东师范大学;2004年
8 寿周翔;专业搜索引擎的研究与设计[D];浙江大学;2005年
9 刘平冰;基于Lucene的Web站内信息搜索系统[D];电子科技大学;2005年
10 陈勇;中医药主题搜索网络机器人的研究与实现[D];西南交通大学;2005年
【二级引证文献】
中国期刊全文数据库 前1条
1 李广丽;刘觉夫;;垂直搜索引擎系统的研究与实现[J];情报杂志;2009年10期
中国硕士学位论文全文数据库 前10条
1 王旭;互联网舆情监控系统中聚焦爬虫的设计与实现[D];北京邮电大学;2011年
2 周兵;基于分布式精准采集的垂直搜索引擎的研究与实现[D];北京邮电大学;2011年
3 漆志辉;基于隐马尔科夫模型的主题爬虫性能提高与应用[D];暨南大学;2011年
4 于景茹;基于Lucene的职位垂直搜索引擎的研究与实现[D];郑州大学;2011年
5 滕文达;基于移动平台股票资讯搜索与预测系统研究[D];哈尔滨理工大学;2011年
6 赵志军;基于分布式的垂直搜索引擎的研究与实现[D];北京信息控制研究所;2011年
7 关小敏;垂直搜索引擎的研究与实现[D];北京邮电大学;2012年
8 魏霞;面向网络教育的学习评价依据采集系统的研究与实现[D];浙江工业大学;2007年
9 翟晓玲;面向学科的基础教育资源垂直搜索引擎的研究与实现[D];东北师范大学;2009年
10 杨高峰;基于信息聚合技术的个性化信息门户的研究与实现[D];国防科学技术大学;2009年
【相似文献】
中国期刊全文数据库 前10条
1 张晓刚,李明树;智能搜索引擎技术的研究与发展[J];计算机工程与应用;2001年24期
2 崔泽永,常晓燕;搜索引擎的Web Robot技术与优化[J];微机发展;2004年04期
3 张玉宝;;中文搜索引擎的原理及相关技术分析[J];福建电脑;2008年01期
4 陈勇;刘勇;;中医药主题搜索网络机器人的设计与实现[J];计算机技术与发展;2010年05期
5 潘颖;面向搜索引擎的英文网页优化及网站的国际推广[J];微计算机应用;2004年05期
6 郭伟刚;鞠时光;;基于访问内容类型统计的Web Robot检测算法[J];计算机科学;2005年08期
7 邹竞辉;;智能搜索引擎的设计与实现[J];科技经济市场;2006年08期
8 郭伟刚;鞠时光;;电子商务网站中Web Robot的检测技术[J];计算机工程;2005年23期
9 黄奇,邵波,袁勤俭;基于Web信息的可利用性[J];情报杂志;2000年02期
10 郭伟刚,鞠时光;一个基于事务分析的Web Robot检测算法[J];计算机应用;2005年07期
中国重要会议论文全文数据库 前10条
1 维尼拉·木沙江;吐尔洪·吾司曼;;维、哈、柯文搜索引擎中网页爬行器的设计与实现[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
2 彭轲;廖闻剑;;浅析搜索引擎[A];中国通信学会第五届学术年会论文集[C];2008年
3 李丹;;如何利用搜索引擎查找中医药信息[A];中国中医药信息研究会第二届理事大会暨学术交流会议论文汇编[C];2003年
4 张怡;查贵庭;;SEO在信息服务中的应用研究[A];2010年中国索引学会年会暨学术研讨会论文集[C];2010年
5 邓长寿;郭景峰;杨焱林;邓安远;;下一代Web搜索引擎初探[A];第十八届全国数据库学术会议论文集(研究报告篇)[C];2001年
6 冯艳卉;洪宇;颜振祥;姚建民;朱巧明;;基于搜索引擎的双语混合网页识别新方法[A];第六届全国信息检索学术会议论文集[C];2010年
7 贾彦国;李培德;;Web检索结果聚类算法的改进[A];2006北京地区高校研究生学术交流会——通信与信息技术会议论文集(上)[C];2006年
8 石淑华;;利用搜索引擎检索网络生物信息的方法与技巧[A];山西省科学技术情报学会学术年会论文集[C];2004年
9 梁循;何洋波;;企业内嵌搜索引擎的定价问题[A];中国运筹学会第八届学术交流会论文集[C];2006年
10 汤薇;曾艳;;构建校园网搜索引擎必要性分析[A];广西计算机学会2008年年会论文集[C];2008年
中国重要报纸全文数据库 前10条
1 刘文君;搜索引擎也在寻求创新[N];大众科技报;2007年
2 林嘉澍;Google:0.2秒和80亿张网页[N];经济观察报;2006年
3 姜蕊;问天下谁识搜索?[N];中国高新技术产业导报;2006年
4 郑杏果;细分和调优之后期待新突破[N];中国计算机报;2007年
5 本报记者 符王润 通讯员 湛立;广东企业告倒“谷歌”[N];广东科技报;2009年
6 本报记者 胡钰;携程状告“去哪儿” 再设搜索雷区[N];华夏时报;2008年
7 本报记者 刘菁菁;Google力拓未来搜索[N];计算机世界;2011年
8 周广奋;CNNIC:2007年6成网民每天用搜索引擎[N];中国国门时报;2007年
9 ;搜索[N];中国计算机报;2005年
10 李力 编译;互联网搜索引擎之战远未结束[N];中国贸易报;2006年
中国博士学位论文全文数据库 前10条
1 刘佐达;分布协作式搜索引擎模型及算法研究[D];清华大学;2011年
2 岑荣伟;基于用户行为分析的搜索引擎评价研究[D];清华大学;2010年
3 李群;主题搜索引擎聚类算法的研究[D];北京林业大学;2011年
4 苏君华;面向搜索引擎的技术接受模型研究[D];南京大学;2011年
5 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年
6 郭眈;中文互联网视频搜索引擎系统策略研究[D];北京交通大学;2012年
7 刘东飞;智能双语搜索方法及搜索引擎的研究[D];武汉理工大学;2009年
8 王镠璞;基于用户体验的互联网搜索引擎医学信息检索可用性评估研究[D];吉林大学;2010年
9 李莎莎;面向搜索引擎的自然语言处理关键技术研究[D];国防科学技术大学;2011年
10 白玉琪;空间信息搜索引擎研究[D];中国科学院研究生院(遥感应用研究所);2003年
中国硕士学位论文全文数据库 前10条
1 吕韩飞;主题(topical)crawler及其应用——主题搜索引擎[D];浙江大学;2005年
2 李建平;智能化WEB信息搜索引擎的研究与实现[D];大庆石油学院;2003年
3 李浩;分布式教育网信息检索系统的研究和实现[D];华南理工大学;2010年
4 田生伟;基于涉农词典的搜索引擎的研究与实践[D];新疆大学;2004年
5 聂颂;具有自动分类功能的主题搜索引擎的研究[D];天津大学;2004年
6 时延军;基于Nutch的分布式搜索引擎的设计与研究[D];长春理工大学;2010年
7 张彬;基于lucene的搜索引擎[D];上海师范大学;2010年
8 余晨;面向主题的WWW信息挖掘及实验系统TWIMS[D];中国科学院研究生院(软件研究所);2002年
9 薛云;Internet上元搜索引擎的研究与设计[D];太原理工大学;2003年
10 廖程锋;一种基于元数据的搜索引擎的设计与实现[D];中南大学;2004年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026