收藏本站
《湖南大学》 2003年
收藏 | 手机打开
二维码
手机客户端打开本文

基于巩固学习的网络蜘蛛搜索策略研究

李学勇  
【摘要】: 随着因特网技术的广泛应用,因特网上Web信息资源呈指数级增长,传统的搜索引擎正面临巨大的挑战。各类专业搜索引擎应运而生并受到广泛关注。网络蜘蛛搜索策略问题的研究,对专业搜索引擎的应用与发展具有重要意义。本文主要从机器学习的角度,围绕提高搜索效率的问题,采用巩固学习(Reinforcement Learning,RL)的方法,对专业搜索引擎网络蜘蛛的搜索策略进行了深入研究。 本文首先介绍了巩固学习的基本概念和网络蜘蛛搜索策略的研究进展,在分析和比较现有专业搜索引擎网络蜘蛛搜索策略的特点和优缺点的基础上,归纳了提高搜索效率的几个关键因素。 本文针对提高网络蜘蛛的学习效率问题展开研究,提出了一种基于隐偏向信息学习的巩固学习模型并改进了SARSA算法。改进算法的主要思想是,通过学习环境状态中的隐偏向信息,动态调整巩固学习代理体的搜索策略,以减小搜索空间,提高学习效率。针对“推箱”任务的实验表明该算法具有良好的性能。在此基础上,本文提出了一种基于隐偏向信息学习的网络蜘蛛学习算法,实验表明,该算法可以明显提高网络蜘蛛的学习效率。 针对传统的网络蜘蛛存在链接价值评价标准单一的问题,本文提出了一种基于巩固学习的启发式网络蜘蛛模型,新模型将立即回报价值和未来回报价值结合,用于计算链接的综合回报价值。为解决对立即回报价值和未来回报价值信任度的权衡问题,本文引入了价值置信函数的概念,提出了基于未来回报信度递减的启发式搜索算法,该算法的主要思想是将两类评价标准的优势相结合,以提高整体的搜索效率。针对于实际环境的搜索测试表明,新算法在性能上优于传统的网络蜘蛛搜索算法。 为了进一步提高网络蜘蛛的搜索效率,本文对网络蜘蛛搜索策略中存在的探测与发掘的权衡问题进行了研究,结合模拟退火的思想,提出了一种基于模拟退火的启发式搜索算法。该算法的主要思想是避免网络蜘蛛陷入局部最优解。针对于实际环境的搜索测试表明,新算法在整体性能上明显优于传统的网络蜘蛛搜索算法。 最后,本文将提出的算法和技术相结合,实现了一个基于巩固学习的计算机相关论文专业搜索引擎网络蜘蛛系统原型。
【学位授予单位】:湖南大学
【学位级别】:硕士
【学位授予年份】:2003
【分类号】:TP301

【相似文献】
中国期刊全文数据库 前10条
1 王兰成;;MNPOS:军事网络舆情分析系统研究[J];图书情报工作;2011年06期
2 朱雪莲;;专用Web信息收集系统的设计和实现[J];煤炭技术;2011年08期
3 牟思;;基于垂直搜索引擎的学校网站的研究与建设[J];中国教育技术装备;2011年21期
4 蒋若珊;;医学信息检索途径和定制服务方法研究[J];咸宁学院学报;2011年04期
5 罗桂兰;段发梅;张丽娜;朱翻;刘朝明;;一种改进的BNS网络论坛搜索算法[J];大理学院学报;2011年04期
6 张利江;郭进利;李松伟;;河南省县级医院网上信息服务现状调查研究[J];价值工程;2011年21期
7 刘金亮;苏琳;石云;;基于Nutch的垂直搜索技术研究[J];电脑知识与技术;2011年24期
8 宋宝贵;田宝彩;;关于垂直搜索引擎的研究与思考[J];科技传播;2011年16期
9 刘金松;;搜索引擎的原理及spider程序浅析[J];电脑知识与技术;2011年25期
10 张旭;;构建基于本地服务的垂直搜索引擎[J];才智;2011年18期
中国重要会议论文全文数据库 前10条
1 唐崇忻;;专业搜索引擎在高校图书馆个性化信息服务中的应用[A];福建省图书馆学会2008年学术年会论文集[C];2008年
2 梁一平;刘连芳;周小平;申文明;;网络蜘蛛Nutch的分析、定制与二次开发[A];2009年中国高校通信类院系学术研讨会论文集[C];2009年
3 李贺华;付鹤岗;;多Agent Web信息检索应用研究[A];2008年计算机应用技术交流会论文集[C];2008年
4 袁特;顾新建;胡恒杰;许琦;;一种企业竞争情报系统的研究[A];先进制造技术论坛暨第五届制造业自动化与信息化技术交流会论文集[C];2006年
5 王宁;王敏;冷荣新;;谈互联网上生物医学信息资源的获取[A];中华预防医学会预防医学情报专业委员会第十六届学术交流会论文集[C];2005年
6 戴黎春;;Internet上的花式纱线资源[A];第十三届全国花式纱线及其织物技术进步研讨会论文集[C];2006年
7 高莉;;医学参考文献的查询与应用[A];中华预防医学会预防医学情报专业委员会第十六届学术交流会论文集[C];2005年
8 耿涛;;Web日志分析在电子数据取证中的应用[A];第二十一次全国计算机安全学术交流会论文集[C];2006年
9 朱凯;;网络资源的应用[A];中华预防医学会预防医学情报专业委员会第十六届学术交流会论文集[C];2005年
10 林欢欢;王文杰;史忠植;;移动环境下垂直搜索引擎[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
中国重要报纸全文数据库 前10条
1 江苏 刘波;网络蜘蛛[N];中国电脑教育报;2000年
2 李壮;专业搜索引擎涤荡搜索市场[N];中国高新技术产业导报;2005年
3 本报记者 童可;搜索引擎竞争升温行业细分时代来临[N];证券时报;2005年
4 巫宁;旅游专业搜索引擎风生水起[N];中国旅游报;2005年
5 本报记者  孙书博 郭望;搜索医药业的“百度”[N];医药经济报;2006年
6 本报记者  谢光飞;房地产专业搜索引擎要分市场一杯羹[N];中国经济时报;2006年
7 林洁珊;专业搜索引擎 特别信息一网打尽[N];江淮时报;2006年
8 记者  李佳师;朱剑涵:专家搜索引擎的商业价值[N];中国电子报;2007年
9 高雪娟;企业搜索要为决策服务[N];中国计算机报;2006年
10 本报记者  李国训 实习记者 褚曼;雅虎中国重回门户[N];财经时报;2006年
中国博士学位论文全文数据库 前4条
1 彭涛;面向专业搜索引擎的主题爬行技术研究[D];吉林大学;2007年
2 王德吉;复杂环境下自适应智能决策支持系统研究[D];中国科学技术大学;2007年
3 陈治平;智能搜索引擎理论与应用研究[D];湖南大学;2003年
4 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年
中国硕士学位论文全文数据库 前10条
1 张玲;智能信息采集搜索策略研究[D];湖南大学;2004年
2 李学勇;基于巩固学习的网络蜘蛛搜索策略研究[D];湖南大学;2003年
3 许彦彬;基于Java技术的生物资源专业搜索引擎的研究与开发[D];昆明理工大学;2004年
4 张晓龙;网络蜘蛛垂直搜索算法的改进与实现[D];哈尔滨工程大学;2008年
5 王嘉杰;面向博客领域的垂直搜索引擎的研究与实现[D];北京邮电大学;2009年
6 寿周翔;专业搜索引擎的研究与设计[D];浙江大学;2005年
7 邹庆欣;基于Agent专业搜索引擎的研究[D];大连海事大学;2008年
8 赵士青;专业搜索引擎关键技术的研究[D];沈阳工业大学;2007年
9 李富萍;基于多Agent的信息搜索引擎技术研究与应用[D];中北大学;2005年
10 何源源;迅雷资源搜索引擎的研究与实现[D];西北工业大学;2007年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026