收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于Nutch的农业信息搜索引擎实现和优化

李雷  
【摘要】:伴随着互联网技术的不断发展,网络上的知识、资源呈现爆炸式增长,如何对这些资源进行规范、有效的共享和管理,是目前互联网面临的关键问题,也是下一代Web的主要研究方向。针对这种情况,知识网格技术应运而生。知识网格的研究目标是在下一代Web基础上,构建对知识、信息以及资源进行有效共享和管理的平台。 本文基于开源搜索引擎Nutch实现了农业信息搜索引擎系统,对该系统的不足之处进行了改进和优化。本文的工作属于国家863项目“数字农业知识网格技术研究及应用”中知识问答系统的一部分,实现了互联网上农业信息的搜集和检索,并为本地知识库的构建和扩展,提供了丰富的资源。 本文具体内容: (1)介绍了本文的研究背景、研究目的和意义,概括了搜索引擎优化方面的一些研究成果。 (2)详细介绍了本文的背景知识。 其中包括对搜索引擎的工作原理和体系结构进行了详细的介绍,对开源搜索引擎Nutch的整体架构进行了深度的分析探索。 (3)实现了农业信息搜索引擎。 在对搜索引擎技术的深入了解基础上,基于开源搜索引擎Nutch开发了农业信息搜索引擎系统。 (4)针对该系统中的一些不足之处进行了改进和优化。 第一,网页解析模块的改进。本文采用基于STU-DOM树的网页主题信息提取方法,在网页解析基础上,实现了非主题信息节点的基于语义属性值的过滤。 第二,摘要提取模块的改进。本文在基于统计的自动摘要提取方法中,添加了文本特征的判断,从词频、句型、提示词等方面对句子权重进行更为精细的赋值。 第三,查询扩展模块的实现。本文构建了农业领域本体,并在此基础上,采用Jena推理机查询搜索关键词在本体中相应的子类、同义词和实例,并以此作为搜索相关词。 本文开发的农业信息搜索引擎,作为“数字农业知识网格”中知识问答系统的主要功能模块,实现了对互联网上农业信息的搜集和检索,同时为本地知识库的构建和丰富提供了资源。本文还对改进前后的效果进行了比较。从比较中我们发现,搜索结果中很多门户型的网页和含有大量链接的网页被过滤掉了,更多的是以文字内容为主的网页,用户可以直接从中获取信息;改进的摘要提取模块提取的摘要内容比之前更加充实,摘要内容与网页主题的匹配程度更高;查询扩展模块提供了与搜索词具有一定语义关系的搜索相关词,为用户的精确搜索提供了途径。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 王巧玲;彭静;王春红;;中文分词技术的研究及在Nutch中的实现[J];科技信息;2011年19期
2 高飞;刘云;;Nutch中文分词方法的实现[J];网络安全技术与应用;2008年09期
3 付光;;面向招聘信息主题搜索引擎的研究与设计[J];广西教育;2011年18期
4 张斌;周尔宁;;基于Nutch的分布式纺织垂直搜索引擎研究[J];电脑知识与技术;2009年21期
5 刘金亮;苏琳;石云;;基于Nutch的垂直搜索技术研究[J];电脑知识与技术;2011年24期
6 蔡小艳;沈巍;胡婷婷;曹永刚;;Nutch中文分词插件的编写与实现[J];信息技术;2010年02期
7 杜娟;;Nutch中文分词的研究和改进[J];软件导刊;2011年06期
8 蔡小艳;寇应展;沈巍;郑伟;;Nutch-0.9中JE中文分词的实现[J];科学技术与工程;2008年17期
9 刘高原;张国平;;基于Nutch的搜索引擎技术[J];平顶山学院学报;2008年05期
10 王仕仲;宁龙兵;;基于Nutch的中文搜索引擎的研究与实现[J];电脑开发与应用;2009年07期
11 夏天;;Nutch的插件机制分析[J];广西师范大学学报(自然科学版);2010年01期
12 张敏;;中文垂直搜索引擎研究与实现[J];福建电脑;2010年06期
13 张敏;杜华;;Nutch中文分词的设计与实现[J];河北北方学院学报(自然科学版);2010年04期
14 郑小波;郑诚;封军;;基于Nutch专题搜索引擎的研究[J];微计算机信息;2010年30期
15 申晋;;基于Lucene和Nutch的林业垂直搜索引擎的研建[J];农业网络信息;2008年04期
16 蔡小艳;寇应展;沈巍;郑伟;;汉语词法分析系统ICTCLAS在Nutch-0.9中的应用与实现[J];军械工程学院学报;2008年05期
17 张锦炘;;基于Nutch的中文搜索引擎的构建[J];图书馆研究与工作;2009年01期
18 朱莹芳;;JAVA技术与人工智能在搜索引擎上的应用[J];硅谷;2009年24期
19 刘金亮;吴芳;孟海江;;智能化垂直搜索系统的构建[J];电脑知识与技术;2010年02期
20 崔宇红;张奎;;基于Nutch的开放存取搜索引擎构建研究[J];现代图书情报技术;2010年10期
中国重要会议论文全文数据库 前1条
1 梁一平;刘连芳;周小平;申文明;;网络蜘蛛Nutch的分析、定制与二次开发[A];2009年中国高校通信类院系学术研讨会论文集[C];2009年
中国硕士学位论文全文数据库 前10条
1 王春花;基于Nutch的农业搜索引擎检索结果排序策略的研究[D];西北农林科技大学;2010年
2 李雷;基于Nutch的农业信息搜索引擎实现和优化[D];吉林大学;2011年
3 鱼健榕;基于Nutch的搜索引擎系统的研究与实现[D];北京邮电大学;2011年
4 贺鹏程;基于Nutch技术的辛亥革命本体搜索引擎的设计与实现[D];华中师范大学;2011年
5 陈必坤;基于Nutch的图情博客搜索引擎的设计与实现[D];郑州大学;2011年
6 时延军;基于Nutch的分布式搜索引擎的设计与研究[D];长春理工大学;2010年
7 刘凤灵;基于Nutch的漏洞垂直搜索引擎[D];北京邮电大学;2011年
8 夏树倩;基于Nutch的学术搜索引擎的研究与实现[D];东北大学;2011年
9 任妤;基于Nutch的科技主题搜索引擎Crawler的研究与实现[D];内蒙古科技大学;2011年
10 任妤;基于Nutch的科技主题搜索引擎Crawler的研究与实现[D];内蒙古科技大学;2011年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978