收藏本站
《南京师范大学》 2005年
收藏 | 手机打开
二维码
手机客户端打开本文

专业搜索引擎分布式Robot设计研究

姜杰  
【摘要】:教育资源建设是教育技术学一个重要的研究领域。基础教育资源搜索引擎(BERSE)通过对因特网上相关资源进行搜索、分类和标引,提供了基础教育资源检索服务。搜索器Robot作为搜索引擎的资源采集部分,它的性能直接影响了资源搜集的数量与质量。因此专业搜索引擎Robot的设计研究就成为基础教育资源搜索引擎研究的一个重要的子课题。 本文对专业搜索引擎Robot的设计研究工作包括了:搜索器Robot的体系结构设计研究、搜索策略研究、资源更新策略研究等。作为一个理论与实践相结合的研究课题,本文的主要研究工作和研究成果包括: (1) 研究设计了适合专业资源分布式采集的分布式Robot体系结构; (2) 研究设计了“注册—运行”的运行方式,解决了分布式系统动态扩充和优化组合的问题; (3) 针对专业相关资源的聚集情况,定义了有效专业资源空间元素;并研究设计了动态有效专业资源空间、动态系统组合情况下的资源采集空间的优化划分算法; (4) 在链接结构分析研究的基础上,引进入链分类评价、链接所在网站专业相关度加权,研究设计了链接价值综合评价策略;研究分析了分布式Robot的搜索策略; (5) 以“增量更新”思想为基础,结合系统负载状况分析,完成了“可变周期的本地网络资源更新策略”的算法设计; (6) 在理论研究的基础上,完成了一个基础教育资源搜索引擎分布式Robot系统的开发。
【学位授予单位】:南京师范大学
【学位级别】:硕士
【学位授予年份】:2005
【分类号】:TP391.3

【引证文献】
中国期刊全文数据库 前2条
1 申晋;;基于Lucene和Nutch的林业垂直搜索引擎的研建[J];农业网络信息;2008年04期
2 宋宇;孟祥增;;主题蜘蛛的设计与实现[J];郑州大学学报(理学版);2007年02期
中国硕士学位论文全文数据库 前4条
1 陈小峰;专业搜索引擎的数据存储研究[D];南京师范大学;2007年
2 宋宇;面向教育的多媒体主题搜索器设计与实现[D];山东师范大学;2008年
3 李一;网络动态专业搜索引擎构建方法的研究[D];东北师范大学;2008年
4 于文超;Web中多媒体资源分析与文本信息提取研究[D];山东师范大学;2010年
【参考文献】
中国期刊全文数据库 前10条
1 乔建惠;分布式系统体系结构的研究[J];电脑知识与技术;2005年03期
2 孙兆林,李一兵,田园;分布式模型的分析研究[J];信息技术;2002年07期
3 李亚飞,刘业政;Web挖掘的体系研究[J];合肥工业大学学报(自然科学版);2004年03期
4 沈文勤,李庆超,邵志清;搜索引擎的渐增式爬行和备份式更新模式[J];华东理工大学学报;2004年03期
5 赫枫龄,左万利;用有向图法解决网页爬行中循环链接问题[J];吉林大学学报(理学版);2004年03期
6 阳小华;分布式WWW信息收集技术[J];计算机工程与应用;2000年05期
7 阳小华;Web站点的超链结构挖掘[J];计算机工程与应用;2001年08期
8 韩亚洪,许卓明,董逸生;Web信息检索中主题精选算法的研究与改进[J];计算机工程与应用;2004年17期
9 欧阳柳波,李学勇,李国徽,王鑫;专业搜索引擎搜索策略综述[J];计算机工程;2004年13期
10 李学勇,欧阳柳波,李国徽,钟敏娟;搜索引擎中网络蜘蛛搜索策略比较研究[J];计算技术与自动化;2003年04期
【共引文献】
中国期刊全文数据库 前10条
1 钟晓旭;胡学钢;;基于数据挖掘的Web招聘信息相关性分析[J];安徽建筑工业学院学报(自然科学版);2010年04期
2 汪斌;张云伟;刘健;陈晶;;一种面向农业信息主题网络爬虫的设计[J];安徽农业科学;2009年20期
3 赵静;;搜索引擎优化的作弊与防范[J];办公自动化;2010年22期
4 雷鸣,王建勇,赵江华,单松巍,陈葆珏;第三代搜索引擎与天网二期[J];北京大学学报(自然科学版);2001年05期
5 徐琼瑶;刘琪璟;;北京市重要植物种质资源信息查询系统初探[J];北京林业大学学报;2010年S1期
6 师小庆;袁志;王学成;;基于Web的学生信息检索系统设计[J];才智;2011年34期
7 赫枫龄,左万利;利用超链接信息改进网页爬行器的搜索策略[J];吉林大学学报(信息科学版);2005年01期
8 陈悦;陈运;杨义先;胡迪;;基于遗传算法的聚焦爬虫搜索策略设计与研究[J];成都信息工程学院学报;2011年05期
9 唐培丽;解飞;陈志雨;;基于概念检索的中文搜索引擎研究[J];长春大学学报;2006年04期
10 赵胜军;;Google搜索引擎使用分析[J];时代教育(教育教学);2010年04期
中国重要会议论文全文数据库 前9条
1 彭亮;卓新建;黄玮;范文庆;;基于网络爬虫的XSS漏洞扫描系统的设计与实现[A];第十三届中国科协年会第11分会场-中国智慧城市论坛论文集[C];2011年
2 李慧敏;邬群勇;王钦敏;;Robot技术在空间信息服务搜索中的应用研究[A];中国地理信息系统协会第四次会员代表大会暨第十一届年会论文集[C];2007年
3 蔡猷花;张岐山;;Web日志挖掘及其在电子商务领域的应用[A];第10届计算机模拟与信息技术会议论文集[C];2005年
4 彭轲;廖闻剑;;浅析搜索引擎[A];中国通信学会第五届学术年会论文集[C];2008年
5 吴丽辉;张凯;张刚;王斌;;天罗Web信息采集系统中的性能优化[A];第二届全国信息检索与内容安全学术会议(NCIRCS-2005)论文集[C];2005年
6 张凯;李魁;张刚;王斌;;基于站点的Web信息采集器研究[A];第二届全国信息检索与内容安全学术会议(NCIRCS-2005)论文集[C];2005年
7 刘莉;肖诗斌;王涛;施水才;;基于RSS的分布式博客搜索引擎设计[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
8 刘宝良;李建中;;crlib:可交互异构Crawler框架的设计与实现[A];第二十届全国数据库学术会议论文集(技术报告篇)[C];2003年
9 鲁明羽;熊光辉;陆玉昌;徐大力;;面向中医药领域的Web信息获取与挖掘[A];中国中医药信息研究会第二届理事大会暨学术交流会议论文汇编[C];2003年
中国博士学位论文全文数据库 前10条
1 孙静宇;基于CBR的协同Web搜索研究[D];太原理工大学;2010年
2 张长利;面向特定领域的互联网舆情分析技术研究[D];吉林大学;2011年
3 王修君;高效数据流和海量文本处理算法研究[D];中国科学技术大学;2011年
4 吴超;信息检索中top-k问题的并行算法及优化研究[D];中国科学技术大学;2011年
5 李常宝;基于索引的web服务发现研究[D];北京邮电大学;2011年
6 吴永辉;面向专业领域的网络信息采集及主题检测技术研究与应用[D];哈尔滨工业大学;2010年
7 许笑;分布式Web信息采集关键技术研究[D];哈尔滨工业大学;2011年
8 寇月;Deep Web实体搜索的关键技术研究[D];东北大学;2009年
9 张智雄;Internet科技信息资源门户网站(STIP)系统的实践研究[D];中国科学院文献情报中心;2000年
10 杜亚军;搜索引擎智能行为的研究及实现[D];西南交通大学;2005年
中国硕士学位论文全文数据库 前10条
1 翁岩青;网页抓取策略研究[D];哈尔滨工程大学;2010年
2 汪永伟;搜索引擎中网页排序算法的研究与实现[D];哈尔滨工程大学;2010年
3 冯效栋;垂直搜索引擎技术在网络舆情巡控中的研究与应用[D];中国海洋大学;2010年
4 王思丽;藏文网页自动发现与采集技术研究[D];西北民族大学;2010年
5 李永春;主题搜索引擎的研究与实现[D];哈尔滨理工大学;2010年
6 王晓地;Web信息采集技术研究与实现[D];华南理工大学;2010年
7 巫昌凯;企业知识库系统中复杂查询系统的设计与实现[D];华南理工大学;2010年
8 费洪刚;个性化网站的研究与应用[D];长春工业大学;2010年
9 刘臣;量贩交易平台的设计与实现[D];电子科技大学;2010年
10 李海丰;基于Lucene的企业文档搜索引擎研究与应用[D];中南林业科技大学;2009年
【同被引文献】
中国期刊全文数据库 前10条
1 杨晓江;李丽娟;田俊华;李艺;;面向基础教育的Web资源垂直服务体系研究[J];中国远程教育;2006年07期
2 武法提;基于WEB的学习环境设计[J];电化教育研究;2000年04期
3 彭绍东;解读教育技术领域的新界定[J];电化教育研究;2004年10期
4 李康;孔维宏;;现代教育信息资源开发思想探析[J];电化教育研究;2007年06期
5 彭波,李晓明;搜索引擎倒排文件的一种分块组织技术[J];电子学报;2005年02期
6 左羽;搜索引擎的原理及技术分析研究[J];福建电脑;2005年08期
7 邱建雄;Hook技术及其在软件研发中的应用[J];国防科技大学学报;2002年01期
8 文坤梅,卢正鼎,叶卫国,金莉;搜索引擎中页面更新策略的分析与改进[J];华中科技大学学报(自然科学版);2002年12期
9 王琦,唐世渭,杨冬青,王腾蛟;基于DOM的网页主题信息自动提取[J];计算机研究与发展;2004年10期
10 李保利,陈玉忠,俞士汶;信息抽取研究综述[J];计算机工程与应用;2003年10期
中国博士学位论文全文数据库 前1条
1 姚绍文;语义化Web的关键技术及其应用研究[D];电子科技大学;2002年
中国硕士学位论文全文数据库 前10条
1 翟蕾;Web文档分类及信息抽取的研究与开发[D];西北工业大学;2001年
2 王明燕;基于WEB页面的关键词与关键概念提取技术[D];北京工业大学;2003年
3 余晨;面向主题的WWW信息挖掘及实验系统TWIMS[D];中国科学院研究生院(软件研究所);2002年
4 张华;WWW图像语义信息提取方法研究[D];山东师范大学;2004年
5 洪颖;面向化工领域的智能元搜索引擎系统的研究与设计[D];北京化工大学;2004年
6 寿周翔;专业搜索引擎的研究与设计[D];浙江大学;2005年
7 何华;搜索引擎中的数据存储问题研究[D];浙江大学;2005年
8 鹿文鹏;面向web的多媒体语义信息提取方法研究与实现[D];山东师范大学;2005年
9 刘浩一;基于中文自然语言查询的多媒体数据库检索系统[D];山东师范大学;2006年
10 邱正国;主题蜘蛛的研究及实现[D];南京师范大学;2007年
【二级引证文献】
中国期刊全文数据库 前9条
1 王小正;侯青;;基于Nutch和Solr的基础教育垂直搜索引擎的实现[J];电脑知识与技术;2012年04期
2 李敏;;基于盘古分词的新闻行业垂直搜索引擎[J];丽水学院学报;2012年05期
3 赵蓉英;陈必坤;;基于Nutch的图情博客搜索引擎的设计与实现[J];情报科学;2012年04期
4 宋宇;高华;刘洪;;面向中医药资源信息的抓取系统设计与实现[J];上海高校图书情报工作研究;2010年03期
5 齐鹏;张俊;李冠宇;;基于本体的垂直搜索引擎分类索引模型设计[J];计算机工程与设计;2010年23期
6 邵秀丽;刘彬;张涛;;基于Nutch的垂直搜索引擎的设计和实现[J];计算机工程与设计;2011年02期
7 范维;王波;何德超;;民族传统体育的垂直信息服务研究[J];体育成人教育学刊;2011年03期
8 刘宗庆;;教务管理系统的设计与实现[J];新课程(教育学术);2012年01期
9 刘淑梅;夏亮;许南山;;Postgresql数据库集群在主题网络爬虫的应用[J];计算机系统应用;2010年12期
中国重要会议论文全文数据库 前1条
1 吴晨生;刘彦君;张鲁冀;董晓晴;;科普搜索的研究与实现[A];数字博物馆研究与实践(2009)[C];2010年
中国硕士学位论文全文数据库 前10条
1 张敏;Flash组成元素的视觉特征研究[D];山东师范大学;2011年
2 陈志刚;网络Flash资源爬行器的设计与实现[D];山东师范大学;2011年
3 王培顺;互联网教育舆情监测系统的设计与实现[D];华中师范大学;2011年
4 陈车前;基于Nutch的并行搜索系统的优化设计[D];华南理工大学;2011年
5 陈必坤;基于Nutch的图情博客搜索引擎的设计与实现[D];郑州大学;2011年
6 冯志军;一种科技文章的智能搜索方法[D];中山大学;2010年
7 孙琦;基于因特网的动态规范词表的系统构建研究[D];东北师范大学;2011年
8 王乐;基于本体的垂直搜索引擎研究[D];西北大学;2008年
9 张浩斌;基于RSS和本体语义适配的自治主题页面采集[D];浙江工商大学;2008年
10 尹江;基于文档分类及超链接优选策略主题蜘蛛的研究与实现[D];西南交通大学;2008年
【二级参考文献】
中国期刊全文数据库 前10条
1 宋伟,王举成,马根峰,赵济林;Internet数据挖掘原理及实现[J];重庆邮电学院学报(自然科学版);2001年02期
2 滕伟,王永成;智能代理技术在搜索引擎中的应用[J];高技术通讯;2001年10期
3 凌美秀;关于搜索引擎当前存在的主要问题及其发展趋势的探讨[J];高校图书馆工作;2001年05期
4 王奇,宋国新,邵志清;信息检索中基于链接的网页排序算法[J];华东理工大学学报;2000年05期
5 张健奕;搜索引擎的新发展——元搜索引擎[J];河南图书馆学刊;2002年02期
6 文坤梅,卢正鼎,叶卫国,金莉;搜索引擎中页面更新策略的分析与改进[J];华中科技大学学报(自然科学版);2002年12期
7 宋擒豹,沈钧毅;Web日志的高效多能挖掘算法[J];计算机研究与发展;2001年03期
8 韩家炜,孟小峰,王静,李盛恩;Web挖掘研究[J];计算机研究与发展;2001年04期
9 赫枫龄,陶文学,李凯,周力,左万利;新一代网络搜索引擎系统CHINA_VIVI的实现[J];吉林大学学报(理学版);2003年02期
10 张晓刚,李明树;智能搜索引擎技术的研究与发展[J];计算机工程与应用;2001年24期
【相似文献】
中国期刊全文数据库 前10条
1 冯茜茜;;“谷歌杀手”柳暗未见花明[J];信息方略;2008年18期
2 秦艳友;高校教学资源专业搜索引擎的实现探讨[J];现代情报;2005年05期
3 ;FCI建设支持三种语言的新网站,并为中国用户提供一个专业搜索引擎[J];电子与电脑;2008年04期
4 ;国内第一个专业搜索引擎“艺术狗”诞生了![J];大艺术;2008年01期
5 赵新莉;图书馆专业搜索引擎的开发与设计[J];图书馆工作与研究;2002年03期
6 李敏州;;特搜引擎大补丸[J];网络与信息;2006年02期
7 张丽,张福顺;虚拟企业伙伴搜索系统的设计[J];信息与控制;2004年03期
8 刘雅晴;;隐蔽网络及其资源检索策略研究[J];情报科学;2006年05期
9 李一;;网络动态专业搜索引擎构建方法研究[J];情报探索;2010年03期
10 章成敏,章成志;国外农业搜索引擎评析[J];农业网络信息;2004年11期
中国重要会议论文全文数据库 前10条
1 刘果;邓检华;兰彦;;DAMS-Ⅳ型分布式工程安全监测系统的研制[A];中国水力发电工程学会大坝安全监测专业委员会年会暨学术交流会论文集[C];2000年
2 刘渊;姜建国;缪继东;范晓岚;;一个分布式系统通信控制软件的设计与实现[A];中国工程物理研究院科技年报(2002)[C];2002年
3 曹德亮;贾银芳;赖森贞;;梅钢冷连轧计算机过程控制系统[A];冶金企业自动化、信息化与创新——全国冶金自动化信息网建网30周年论文集[C];2007年
4 李佳桢;袁忠宇;倪桂强;罗健欣;;自稳定性在分布式系统中的应用[A];2007通信理论与技术新发展——第十二届全国青年通信学术会议论文集(上册)[C];2007年
5 熊继平;;基于JMF的运动检测分布式系统的研究及实现[A];第七届全国信息获取与处理学术会议论文集[C];2009年
6 王燕;徐振朋;曹刘娟;;一种具有最小阻塞消息发送时间的检查点策略[A];第四届中国测试学术会议论文集[C];2006年
7 唐沬;雷利卿;;基于CS算法的频谱合成方法实现分布式雷达卫星的二维高分辨率成像[A];第二届微波遥感技术研讨会摘要全集[C];2006年
8 朱建军;祝红光;王智为;;数据传输平台JWDTP及其在客票系统中的应用[A];中国铁路客票发售和预订系统5.0版应用研讨会论文集[C];2006年
9 高杨菊梅;田平;邵红全;;基于JAVA的移动代码系统的实现技术[A];促进企业信息化进程——第九届中国Java技术及应用交流大会文集[C];2006年
10 冯锡炜;贾传荧;杨家轩;;JMS技术在分布式系统中的应用与实现[A];促进企业信息化进程——第十届中国Java技术及应用大会文集[C];2007年
中国重要报纸全文数据库 前10条
1 李壮;专业搜索引擎涤荡搜索市场[N];中国高新技术产业导报;2005年
2 巫宁;旅游专业搜索引擎风生水起[N];中国旅游报;2005年
3 本报记者 童可;搜索引擎竞争升温行业细分时代来临[N];证券时报;2005年
4 本报记者  孙书博 郭望;搜索医药业的“百度”[N];医药经济报;2006年
5 本报记者  谢光飞;房地产专业搜索引擎要分市场一杯羹[N];中国经济时报;2006年
6 林洁珊;专业搜索引擎 特别信息一网打尽[N];江淮时报;2006年
7 记者  李佳师;朱剑涵:专家搜索引擎的商业价值[N];中国电子报;2007年
8 高雪娟;企业搜索要为决策服务[N];中国计算机报;2006年
9 本报记者  李国训 实习记者 褚曼;雅虎中国重回门户[N];财经时报;2006年
10 本报记者 杨阳;为什么是搜索引擎[N];经济观察报;2005年
中国博士学位论文全文数据库 前10条
1 郑红;分布式系统形式化建模技术研究[D];中国科学院研究生院(软件研究所);2003年
2 陈晓江;分布式系统软件体系结构建模与开发方法研究[D];西北大学;2010年
3 何盼;面向可靠性优化设计的分布式系统资源分配研究[D];重庆大学;2012年
4 赵英;基于异步网络环境的自适应时钟同步[D];北京化工大学;2004年
5 彭舰;基于CORBA的分布式系统中实时—容错性的研究——分布式系统中动态调度的设计与实现[D];电子科技大学;2004年
6 陈文惠;防火墙系统策略配置研究[D];中国科学技术大学;2007年
7 李美安;普适分布式互斥算法及应用[D];电子科技大学;2007年
8 叶飞跃;关联规则及其元规则挖掘技术研究[D];南京航空航天大学;2006年
9 赵丽平;基于Multi-agent的电能质量监控网络的研究[D];西南交通大学;2006年
10 王德俊;面向服务的分布式系统动态更新研究[D];上海交通大学;2010年
中国硕士学位论文全文数据库 前10条
1 姜杰;专业搜索引擎分布式Robot设计研究[D];南京师范大学;2005年
2 刘志寒;基于QoS的煤矿安全实时监测系统通信协议研究及系统设计[D];华东师范大学;2005年
3 孟楠;分布式内存数据库系统设计实现与应用[D];南京理工大学;2005年
4 李莉丽;实时分布系统容错调度算法的设计与实现[D];电子科技大学;2005年
5 李力;分布式民航气象信息服务系统的设计与实现[D];四川大学;2005年
6 周森;WebSonar:基于关键信息的语音搜索引擎[D];浙江大学;2006年
7 毕伟;分布式互斥算法的研究与改进[D];河海大学;2006年
8 穆阳;分布式网络入侵检测系统研究[D];电子科技大学;2008年
9 刘艳辉;数据交换平台的分布式应用研究[D];中国航天第二研究院;2009年
10 曲绍云;分布式异构系统中任务调度问题的研究[D];青岛大学;2005年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026