收藏本站
《太原理工大学》 2011年
收藏 | 手机打开
二维码
手机客户端打开本文

基于Lucene搜索引擎的研究与应用

尉建兴  
【摘要】:搜索引擎是信息检索必备的工具,也是一门非常适用的技术,虽然各大搜索引擎在不断地完善和发展自己的技术,但是仍然满足不了用户的需求,随着用户的数量和互联网的信息量不断增加,对搜索引擎提出了更高的要求,如何从海量信息中快速地、准确地获取有价值的信息,成为各大搜索引擎研究的主题。 本文应用Lucene检索工具包实现了搜索引擎的索引、检索过程,并与PageRank算法相结合,改善了页面排序算法;针对Nutch系统中WebCrawler的不足,在网路蜘蛛的爬取策略、去重技术和更新技术方面做了改进;分词算法采用基于最大匹配算法和概率相结合的分词算法;利用K-means的聚类算法实现了web文本聚类,提高了检索结果的相关性;综合利用各种技术,实现一个完整的搜索引擎系统。 本文所做工作如下: 第一、实现了基于Lucene全文索引和检索的过程,并设计了最大匹配算法和概率相结合的分词算法。 第二、利用Nutch系统中的Web Crawler的基本模型,选取了PageRank算法作为网络蜘蛛的爬取策略,使用基于URL和内容的去重算法去除重复页面,用Quartz作业调度系统实现了定时调用网络爬虫,完成了对本地页面批量更新,进一步提高了信息的实时性。 第三、针对PageRank和Lucene排序算法的不足,改进了PageRank算法和Lucene自身排序算法,综合利用两种算法实现页面排序,使排序结果更加合理;实现了web文本聚类,采用K-means聚类算法对检索结果聚类,提高检索结果的相关性。
【学位授予单位】:

知网文化
【相似文献】
中国期刊全文数据库 前20条
1 任惠静;;基于Lucene的面向主题搜索引擎的索引技术的研究[J];电脑知识与技术;2010年04期
2 朱海丰;秦杰;;基于Lucene与JSF的搜索引擎[J];福建电脑;2008年10期
3 刘敏娜;葛萌;陈娟;;基于Lucene的全文搜索引擎设计与实现[J];福建电脑;2009年05期
4 侯云;;构建基于Lucene的网站站内搜索[J];信息与电脑(理论版);2010年02期
5 温艳鸿;;基于lucene的文件搜索引擎的设计与扩展[J];福建电脑;2007年08期
6 陈沧;沈洁;高莺;;基于Lucene的校园网Web搜索服务研究与实现[J];中国教育信息化;2008年15期
7 张春燕;刘发升;;关于Lucene索引工具的性能优化研究[J];计算机技术与发展;2011年05期
8 刘建湘;杨文涛;;基于Lucene的搜索引擎在Struts中的应用[J];软件导刊;2007年03期
9 孟祥成;;基于Lucene和Heritrix技术搜索引擎的设计与实现[J];中国现代教育装备;2010年03期
10 任晓娜;;基于Lucene的全文搜索引擎的研究与实现[J];湖北广播电视大学学报;2010年05期
11 严良达;;基于Lucene搜索引擎的设计与实现[J];宁波职业技术学院学报;2009年02期
12 黄少林;王华;张玉红;蒋一峰;;基于Lucene的索引系统的设计与实现[J];现代情报;2009年07期
13 樊景超;周国民;;基于Lucene的“农搜”并行索引技术研究[J];农业网络信息;2009年08期
14 周平;;Lucene全文检索引擎技术及应用[J];重庆工学院学报(自然科学版);2007年04期
15 陈艳春;李双平;;基于Lucene的企业级搜索引擎的设计与实现[J];现代图书情报技术;2007年08期
16 李靖;文登敏;张润伟;;基于Lucene的全文检索引擎的研究与应用[J];淮阴工学院学报;2008年01期
17 马志强;刘利民;苏依拉;马瑞明;;基于Lucene的站内搜索引擎研究[J];内蒙古工业大学学报(自然科学版);2009年01期
18 潘以锋;;基于Lucene的网站全文检索系统的开发[J];广西教育学院学报;2006年05期
19 向晖;郭一平;王亮;;基于Lucene的中文字典分词模块的设计与实现[J];现代图书情报技术;2006年08期
20 李颖;李志蜀;邓欢;;基于Lucene的中文分词方法设计与实现[J];四川大学学报(自然科学版);2008年05期
中国重要会议论文全文数据库 前10条
1 彭轲;廖闻剑;;浅析搜索引擎[A];中国通信学会第五届学术年会论文集[C];2008年
2 李丹;;如何利用搜索引擎查找中医药信息[A];中国中医药信息研究会第二届理事大会暨学术交流会议论文汇编[C];2003年
3 邓长寿;郭景峰;杨焱林;邓安远;;下一代Web搜索引擎初探[A];第十八届全国数据库学术会议论文集(研究报告篇)[C];2001年
4 维尼拉·木沙江;吐尔洪·吾司曼;;维、哈、柯文搜索引擎中网页爬行器的设计与实现[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
5 汤薇;曾艳;;构建校园网搜索引擎必要性分析[A];广西计算机学会2008年年会论文集[C];2008年
6 姚树宇;赵少东;;一种使用分布式技术的搜索引擎[A];2005年全国开放式分布与并行计算学术会议论文集[C];2005年
7 倪俊峰;;基于黄页搜索引擎的关键字排名广告系统的设计与实现[A];2005年中国索引学会年会暨学术研讨会论文集[C];2005年
8 张怡;查贵庭;;SEO在信息服务中的应用研究[A];2010年中国索引学会年会暨学术研讨会论文集[C];2010年
9 陈援非;何哲;朱珍民;;基于普适计算的个性化搜索技术[A];第二届和谐人机环境联合学术会议(HHME2006)——第2届中国普适计算学术会议(PCC'06)论文集[C];2006年
10 杨萌;李春丽;朱明;;网络搜索技术下的编辑工作[A];学报编辑论丛(第十一集)[C];2003年
中国重要报纸全文数据库 前10条
1 李一鑫;搜索排名的红与黑[N];财经时报;2007年
2 周文林;搜狗3.0能否撼动搜索市场[N];经济参考报;2007年
3 惠正一;比尔·盖茨:微软不怕Google[N];第一财经日报;2005年
4 赛迪顾问股份有限公司互联网与电子商务咨询中心 常燕杰;搜索,还是门户[N];中国计算机报;2005年
5 陈珊;浙江移动推出手机搜索引擎服务[N];人民邮电;2005年
6 赵法忠;搜索引擎还需悠着点[N];中国经营报;2005年
7 金朝力;搜索引擎火拼搜索质量[N];北京商报;2006年
8 本报记者  赵晓辉 孟昭丽;搜索引擎驶入“避风港”[N];中国证券报;2006年
9 孙琎;搜索引擎惊喜侵权官司止于“避风港”?[N];第一财经日报;2006年
10 姜蕊;问天下谁识搜索?[N];中国高新技术产业导报;2006年
中国博士学位论文全文数据库 前10条
1 岑荣伟;基于用户行为分析的搜索引擎评价研究[D];清华大学;2010年
2 李群;主题搜索引擎聚类算法的研究[D];北京林业大学;2011年
3 苏君华;面向搜索引擎的技术接受模型研究[D];南京大学;2011年
4 刘佐达;分布协作式搜索引擎模型及算法研究[D];清华大学;2011年
5 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年
6 郭眈;中文互联网视频搜索引擎系统策略研究[D];北京交通大学;2012年
7 王镠璞;基于用户体验的互联网搜索引擎医学信息检索可用性评估研究[D];吉林大学;2010年
8 李莎莎;面向搜索引擎的自然语言处理关键技术研究[D];国防科学技术大学;2011年
9 白玉琪;空间信息搜索引擎研究[D];中国科学院研究生院(遥感应用研究所);2003年
10 费巍;搜索引擎检索功能的性能评价研究[D];武汉大学;2010年
中国硕士学位论文全文数据库 前10条
1 徐财应;基于Lucene的搜索引擎技术的研究与改进[D];长春理工大学;2010年
2 闻峥;基于Lucene的搜索引擎优化[D];北京交通大学;2011年
3 张彬;基于lucene的搜索引擎[D];上海师范大学;2010年
4 杨晓丹;基于Lucene的主题搜索引擎模板的设计与实现[D];浙江工商大学;2011年
5 李建林;基于Lucene的Web搜索引擎的研究[D];兰州理工大学;2010年
6 尉建兴;基于Lucene搜索引擎的研究与应用[D];太原理工大学;2011年
7 潘亭沥;基于Lucene的面向商业应用的搜索引擎研究与实现[D];电子科技大学;2007年
8 何世林;基于Java技术的搜索引擎研究与实现[D];西南交通大学;2006年
9 刘平冰;基于Lucene的Web站内信息搜索系统[D];电子科技大学;2005年
10 王冬坡;基于Lucene的主题搜索引擎的研究与实现[D];河北科技大学;2010年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978