收藏本站
《中南民族大学》 2008年
收藏 | 手机打开
二维码
手机客户端打开本文

基于移动Agent的主题搜索引擎研究

罗伟  
【摘要】: 由于Web上海量的信息处于不断的变化中,通用搜索引擎己经很难再为用户提供一个全面并且更新及时的信息搜索服务,其局限性在于它试图索引全部Web并且试图服务于所有主题的查询请求。而主题搜索引擎只覆盖与特定主题相关的Web区域,这样它搜索的可以更深,搜索的周期可以更短,因此能满足用户对获取信息资源快速、准确的性能要求。目前,对主题搜索引擎的研究正处于十分活跃的阶段。 Internet已经成为目前世界上最大的信息资源库,但是网上信息资源纷繁芜杂,如何满足人们对快速、准确而全面获取信息的要求,已经成为摆在人们面前的一大难题。本文首先分析了搜索引擎的发展状况,阐述了搜索引擎各主要部分的工作原理,在此基础之上,探讨了主题搜索引擎的研究背景,分析了主题型Web搜索研究兴起的原因,及其潜在的研究价值,通过阅读文献,给出了一些比较有代表性的系统的描述。详尽地分析了主题搜索中的几个关键技术,包括主题概念定义、主题资源发现技术,主题爬行器的构造、主题爬行的启发策略及其算法实现。 在分析主题搜索引擎页面爬行特点的基础之上,结合Agent技术的相关知识,提出了使用移动Agent进行主题信息收集的方法,分析了采用这种方法能带来的潜在的爬行效率的提升,尤其是网络带宽资源占用情况方面的改善,给出了一个基于移动Agent的主题搜索引擎系统原型,并描述了各个部分的主要功能,并对其中的几个关键部分给出了具体实现的方法,包括:主题特征的提取、移动Agent的系统框架、移动Agent的具体工作过程、主题页面的采集与内容解析和主题相关度的计算等。 最后,在IBM aglets平台上设计并实现了一个基于移动Agent的主题信息爬行器,并通过实验,对比分析了基于移动Agent的主题页面爬行方式与以往工作方式的性能效率差异。结果表明,此种方法能有效减少传统方法下获取页面时,无关信息造成的网络负载,提高主题信息的获取效率。
【学位授予单位】:中南民族大学
【学位级别】:硕士
【学位授予年份】:2008
【分类号】:TP391.3

【参考文献】
中国期刊全文数据库 前10条
1 张义忠,赵明生,朱精南;基于内容的网页特征提取[J];计算机工程与应用;2001年10期
2 肖诗源,叶俊,刘贤德;一种基于Agent的分布式搜索引擎[J];计算机工程;2002年07期
3 汪涛,樊孝忠;主题爬虫的设计与实现[J];计算机应用;2004年S1期
4 龙宇巍,王永成,许欢庆;定题搜索引擎Robot的设计与算法[J];计算机仿真;2004年04期
5 苗长芬,冯伟华;面向主题Crawler的设计与实现[J];平原大学学报;2005年03期
6 孙建涛,沈抖,陆玉昌,石纯一;网页分类技术[J];清华大学学报(自然科学版);2004年01期
7 聂哲;基于WEB的面向主题搜索引擎的设计与实现[J];计算机工程与设计;2003年02期
8 原福永;张园园;;基于链接分析的相关排序方法的研究和改进[J];计算机工程与设计;2007年07期
9 李春旺;Web信息主题采集技术研究[J];图书情报工作;2005年04期
10 程传鹏;;中文网页分类的研究与实现[J];中原工学院学报;2007年01期
中国硕士学位论文全文数据库 前10条
1 侯震宇;主题型搜索引擎的研究与实现[D];中国科学院研究生院(文献情报中心);2003年
2 袁宏;基于移动Agent的中文信息搜索引擎系统模型的研究[D];沈阳工业大学;2003年
3 吴东华;Web信息获取技术研究[D];南京理工大学;2004年
4 王亮;搜索引擎及其相关性排序研究[D];武汉大学;2004年
5 欧歌;专题式Web信息获取技术研究[D];北京化工大学;2005年
6 李东升;主题搜索引擎研究[D];哈尔滨工程大学;2005年
7 刘玮玮;搜索引擎中主题爬虫的研究与实现[D];南京理工大学;2006年
8 姜华;基于Lucene面向主题搜索引擎的研究与设计[D];华东师范大学;2007年
9 徐金雷;专业搜索引擎的排序算法研究[D];南京师范大学;2007年
10 徐冉;网页信息净化方法的研究与实现[D];哈尔滨工程大学;2007年
【共引文献】
中国期刊全文数据库 前10条
1 汪斌;张云伟;刘健;陈晶;;一种面向农业信息主题网络爬虫的设计[J];安徽农业科学;2009年20期
2 朱华;浅谈网络信息资源采集技术[J];国家图书馆学刊;2004年02期
3 丛荣华;;网络教育中的数据收集技术[J];长春师范学院学报;2006年10期
4 陈悦;陈运;杨义先;胡迪;;基于遗传算法的聚焦爬虫搜索策略设计与研究[J];成都信息工程学院学报;2011年05期
5 时贵英;吕洪涛;;可扩展数据库搜索引擎的研究和实现[J];长江大学学报(自然科学版)理工卷;2010年01期
6 张福泉;;基于启发式搜索的主题策略研究[J];重庆科技学院学报(自然科学版);2011年05期
7 庞孝梅;;网络信息资源开发实现方式的探讨[J];产业与科技论坛;2008年11期
8 刘德仿;王斌;;面向教学领域的智能搜索引擎的研究与开发[J];电化教育研究;2007年05期
9 张斌;周尔宁;张丹阳;;SEO技术在网站开发中的应用[J];电脑编程技巧与维护;2009年14期
10 江祥奎,原思聪;中文网页分类中的网页特征提取方法[J];电脑开发与应用;2005年10期
中国重要会议论文全文数据库 前3条
1 吴晨生;刘彦君;张鲁冀;董晓晴;;科普搜索的研究与实现[A];数字博物馆研究与实践(2009)[C];2010年
2 唐超;刘辰;杨正球;;使用多层迭代分析和分类网页文档的方法[A];2007北京地区高校研究生学术交流会通信与信息技术会议论文集(上册)[C];2008年
3 姚树宇;赵少东;;一种使用分布式技术的搜索引擎[A];2005年全国开放式分布与并行计算学术会议论文集[C];2005年
中国博士学位论文全文数据库 前4条
1 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年
2 李广建;个性化网络信息检索系统的研究与实现[D];中国科学院研究生院(文献情报中心);2002年
3 陈定权;自动主题搜索的应用研究[D];中国科学院研究生院(文献情报中心);2003年
4 杜亚军;搜索引擎智能行为的研究及实现[D];西南交通大学;2005年
中国硕士学位论文全文数据库 前10条
1 岳广飞;基于二次搜索的搜索引擎技术研究[D];山东科技大学;2010年
2 刘文辉;基于链接结构的网页排序算法研究[D];哈尔滨工程大学;2010年
3 汪永伟;搜索引擎中网页排序算法的研究与实现[D];哈尔滨工程大学;2010年
4 吴迪;高校毕业生就业推荐系统的设计与开发[D];大连理工大学;2010年
5 赵晓丽;基于语义分析的网页病毒检测研究[D];中国海洋大学;2010年
6 王思丽;藏文网页自动发现与采集技术研究[D];西北民族大学;2010年
7 李永春;主题搜索引擎的研究与实现[D];哈尔滨理工大学;2010年
8 王晓地;Web信息采集技术研究与实现[D];华南理工大学;2010年
9 巫昌凯;企业知识库系统中复杂查询系统的设计与实现[D];华南理工大学;2010年
10 王红胜;多文档全文检索系统的设计与开发[D];电子科技大学;2010年
【二级参考文献】
中国期刊全文数据库 前10条
1 卢效峰,郑权;基于用户行为分析的搜索引擎模型[J];北方工业大学学报;2004年03期
2 曹元大,贺海军,涂哲明;中文Web文档全文检索系统的设计及实现[J];北京理工大学学报;2002年01期
3 刘杰;束博;;一种高效的HTML/XHTML至WML的转换方法[J];北京工商大学学报(自然科学版);2006年06期
4 蔡旭晖,刘泽星;Internet信息检索与计算机基础教学[J];长沙铁道学院学报(社会科学版);2004年03期
5 朴雨美;Internet中文信息搜索引擎评析[J];电脑学习;2002年02期
6 李红松,田盛丰;Agent技术在Internet中的应用[J];电脑与信息技术;2001年04期
7 李名智;中文搜索引擎:现状、问题及对策[J];大学图书馆学报;1998年06期
8 韩立新,陈贵海,谢立;一个面向Internet的个性化信息检索系统模型[J];电子学报;2002年02期
9 叶允明,于水,马范援,宋晖,张岭;分布式Web Crawler的研究:结构、算法和策略[J];电子学报;2002年S1期
10 潘瑞玲,余轮;具有Agent功能的远程教育系统的设计[J];福州大学学报(自然科学版);2002年03期
中国博士学位论文全文数据库 前3条
1 李广建;个性化网络信息检索系统的研究与实现[D];中国科学院研究生院(文献情报中心);2002年
2 陈定权;自动主题搜索的应用研究[D];中国科学院研究生院(文献情报中心);2003年
3 宋枫溪;自动文本分类若干基本问题研究[D];南京理工大学;2004年
中国硕士学位论文全文数据库 前8条
1 王胜海;网络智能知识服务系统设计与实现[D];中国科学院研究生院(文献情报中心);2002年
2 张俭恭;扩展元搜索引擎(EMSE)的系统设计[D];中国科学院研究生院(文献情报中心);2002年
3 侯震宇;主题型搜索引擎的研究与实现[D];中国科学院研究生院(文献情报中心);2003年
4 余晨;面向主题的WWW信息挖掘及实验系统TWIMS[D];中国科学院研究生院(软件研究所);2002年
5 刘峰;通用中英文专业搜索引擎技术的研究及应用[D];大连理工大学;2004年
6 姚斌;设计和实现一个主题搜索引擎[D];内蒙古大学;2004年
7 聂颂;具有自动分类功能的主题搜索引擎的研究[D];天津大学;2004年
8 邹娟;面向中文文本的特征值提取[D];湘潭大学;2005年
【相似文献】
中国期刊全文数据库 前10条
1 老胡;;BBS社区的搜索软件——消息百晓生2002[J];软件;2002年04期
2 何静媛;张程;;基于Agent的搜索引擎智能个性化设计[J];重庆大学学报(自然科学版);2005年12期
3 潘常春;计算机主题搜索引擎研究[J];河池学院学报;2005年05期
4 商友忠;;建筑业信息搜索引擎研究[J];科技信息(科学教研);2007年15期
5 张东伟;李鹏;;基于Web的建筑业信息搜索引擎的设计与实现[J];现代计算机(专业版);2008年03期
6 孙长宾;柴松;;军事信息主题搜索引擎研究[J];福建电脑;2011年03期
7 张玉红;王华;蒋一峰;黄少林;;基于知识库系统的中文智能搜索引擎[J];计算机应用;2008年S2期
8 何毅;;基于Web的建筑业主题搜索引擎技术[J];吉林广播电视大学学报;2009年06期
9 张敏;;基于Agent的个性化信息检索系统设计[J];信息技术;2006年06期
10 谢能付;王文生;段延娥;;基于概念空间的领域信息爬虫设计研究[J];江西师范大学学报(自然科学版);2008年02期
中国重要会议论文全文数据库 前10条
1 彭轲;廖闻剑;;浅析搜索引擎[A];中国通信学会第五届学术年会论文集[C];2008年
2 李丹;;如何利用搜索引擎查找中医药信息[A];中国中医药信息研究会第二届理事大会暨学术交流会议论文汇编[C];2003年
3 邓长寿;郭景峰;杨焱林;邓安远;;下一代Web搜索引擎初探[A];第十八届全国数据库学术会议论文集(研究报告篇)[C];2001年
4 维尼拉·木沙江;吐尔洪·吾司曼;;维、哈、柯文搜索引擎中网页爬行器的设计与实现[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
5 何璐;李晋宏;;基于XML的大容量搜索引擎技术探讨[A];2006北京地区高校研究生学术交流会——通信与信息技术会议论文集(下)[C];2006年
6 汤薇;曾艳;;构建校园网搜索引擎必要性分析[A];广西计算机学会2008年年会论文集[C];2008年
7 姚树宇;赵少东;;一种使用分布式技术的搜索引擎[A];2005年全国开放式分布与并行计算学术会议论文集[C];2005年
8 倪俊峰;;基于黄页搜索引擎的关键字排名广告系统的设计与实现[A];2005年中国索引学会年会暨学术研讨会论文集[C];2005年
9 张怡;查贵庭;;SEO在信息服务中的应用研究[A];2010年中国索引学会年会暨学术研讨会论文集[C];2010年
10 陈援非;何哲;朱珍民;;基于普适计算的个性化搜索技术[A];第二届和谐人机环境联合学术会议(HHME2006)——第2届中国普适计算学术会议(PCC'06)论文集[C];2006年
中国重要报纸全文数据库 前10条
1 本报记者  王婧 刘爱君;搜索引擎诉讼全球风生水起[N];法制日报;2006年
2 李一鑫;搜索排名的红与黑[N];财经时报;2007年
3 周文林;搜狗3.0能否撼动搜索市场[N];经济参考报;2007年
4 惠正一;比尔·盖茨:微软不怕Google[N];第一财经日报;2005年
5 记者李明霞;被诉MP3搜索侵权百度能否摆渡[N];法制日报;2005年
6 赛迪顾问股份有限公司互联网与电子商务咨询中心 常燕杰;搜索,还是门户[N];中国计算机报;2005年
7 陈珊;浙江移动推出手机搜索引擎服务[N];人民邮电;2005年
8 赵法忠;搜索引擎还需悠着点[N];中国经营报;2005年
9 金朝力;搜索引擎火拼搜索质量[N];北京商报;2006年
10 本报记者  赵晓辉 孟昭丽;搜索引擎驶入“避风港”[N];中国证券报;2006年
中国博士学位论文全文数据库 前10条
1 岑荣伟;基于用户行为分析的搜索引擎评价研究[D];清华大学;2010年
2 李群;主题搜索引擎聚类算法的研究[D];北京林业大学;2011年
3 苏君华;面向搜索引擎的技术接受模型研究[D];南京大学;2011年
4 刘佐达;分布协作式搜索引擎模型及算法研究[D];清华大学;2011年
5 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年
6 郭眈;中文互联网视频搜索引擎系统策略研究[D];北京交通大学;2012年
7 王镠璞;基于用户体验的互联网搜索引擎医学信息检索可用性评估研究[D];吉林大学;2010年
8 李莎莎;面向搜索引擎的自然语言处理关键技术研究[D];国防科学技术大学;2011年
9 白玉琪;空间信息搜索引擎研究[D];中国科学院研究生院(遥感应用研究所);2003年
10 费巍;搜索引擎检索功能的性能评价研究[D];武汉大学;2010年
中国硕士学位论文全文数据库 前10条
1 罗伟;基于移动Agent的主题搜索引擎研究[D];中南民族大学;2008年
2 徐泼;一种轻量级个性化搜索引擎的研究[D];哈尔滨工程大学;2008年
3 聂颂;具有自动分类功能的主题搜索引擎的研究[D];天津大学;2004年
4 任妤;基于Nutch的科技主题搜索引擎Crawler的研究与实现[D];内蒙古科技大学;2011年
5 薛云;Internet上元搜索引擎的研究与设计[D];太原理工大学;2003年
6 王春花;基于Nutch的农业搜索引擎检索结果排序策略的研究[D];西北农林科技大学;2010年
7 李雷;基于Nutch的农业信息搜索引擎实现和优化[D];吉林大学;2011年
8 董晨;基于模糊聚类的个性化搜索引擎的研究[D];福州大学;2005年
9 封俊;基于Hadoop的分布式搜索引擎研究与实现[D];太原理工大学;2010年
10 李浩;分布式教育网信息检索系统的研究和实现[D];华南理工大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026