收藏本站
《太原理工大学》 2011年
收藏 | 手机打开
二维码
手机客户端打开本文

基于Lucene搜索引擎的研究与应用

尉建兴  
【摘要】:搜索引擎是信息检索必备的工具,也是一门非常适用的技术,虽然各大搜索引擎在不断地完善和发展自己的技术,但是仍然满足不了用户的需求,随着用户的数量和互联网的信息量不断增加,对搜索引擎提出了更高的要求,如何从海量信息中快速地、准确地获取有价值的信息,成为各大搜索引擎研究的主题。 本文应用Lucene检索工具包实现了搜索引擎的索引、检索过程,并与PageRank算法相结合,改善了页面排序算法;针对Nutch系统中WebCrawler的不足,在网路蜘蛛的爬取策略、去重技术和更新技术方面做了改进;分词算法采用基于最大匹配算法和概率相结合的分词算法;利用K-means的聚类算法实现了web文本聚类,提高了检索结果的相关性;综合利用各种技术,实现一个完整的搜索引擎系统。 本文所做工作如下: 第一、实现了基于Lucene全文索引和检索的过程,并设计了最大匹配算法和概率相结合的分词算法。 第二、利用Nutch系统中的Web Crawler的基本模型,选取了PageRank算法作为网络蜘蛛的爬取策略,使用基于URL和内容的去重算法去除重复页面,用Quartz作业调度系统实现了定时调用网络爬虫,完成了对本地页面批量更新,进一步提高了信息的实时性。 第三、针对PageRank和Lucene排序算法的不足,改进了PageRank算法和Lucene自身排序算法,综合利用两种算法实现页面排序,使排序结果更加合理;实现了web文本聚类,采用K-means聚类算法对检索结果聚类,提高检索结果的相关性。
【学位授予单位】:太原理工大学
【学位级别】:硕士
【学位授予年份】:2011
【分类号】:TP391.3

【参考文献】
中国期刊全文数据库 前10条
1 文坤梅,卢正鼎,叶卫国,金莉;搜索引擎中页面更新策略的分析与改进[J];华中科技大学学报(自然科学版);2002年12期
2 张晓刚,李明树;智能搜索引擎技术的研究与发展[J];计算机工程与应用;2001年24期
3 李学勇,欧阳柳波,李国徽,钟敏娟;网络蜘蛛搜索策略比较研究[J];计算机工程与应用;2004年04期
4 邓攀;刘功申;;一种高效的倒排索引存储结构[J];计算机工程与应用;2008年31期
5 张伟;;基于WWW的聚类引擎研究[J];计算机科学;2003年11期
6 郎小伟;王申康;;基于Lucene的全文检索系统研究与开发[J];计算机工程;2006年04期
7 蒋维;郝文宁;杨晓恝;靳大尉;;分布式数据库搜索引擎的索引建立和优化[J];计算机工程;2008年18期
8 刘遥峰;王志良;王传经;;中文分词和词性标注模型[J];计算机工程;2010年04期
9 何国斌;赵晶璐;;基于最大匹配的中文分词概率算法研究[J];计算机工程;2010年05期
10 刘小珠;彭智勇;陈旭;;高效的随机访问分块倒排文件自索引技术[J];计算机学报;2010年06期
中国博士学位论文全文数据库 前1条
1 刘炜;智能元搜索引擎中个性化模式库的研究[D];太原理工大学;2007年
中国硕士学位论文全文数据库 前9条
1 黄杰;基于Lucene的全文检索系统模型的研究[D];暨南大学;2007年
2 冯斌;基于Lucene小型搜索引擎的研究与实现[D];武汉理工大学;2008年
3 尹辉;基于Nutch的搜索系统的研究[D];电子科技大学;2008年
4 姚林涛;基于Lucene的Web搜索引擎实现[D];西安电子科技大学;2008年
5 刘双林;LUCENE实现的基于RSS的博客搜索引擎[D];哈尔滨工程大学;2009年
6 胡长春;基于Lucene的中文自然语言搜索引擎[D];上海交通大学;2009年
7 王波;基于Lucene的企业搜索引擎[D];北京邮电大学;2009年
8 陈平;中文聚类搜索引擎中主要技术的研究[D];吉林大学;2009年
9 吕霞;搜索引擎去重算法的研究与实现[D];江苏大学;2009年
【共引文献】
中国期刊全文数据库 前10条
1 高艳萍;于红;尹祥贵;綦孝姬;王春永;赵志强;;基于双数组Trie树的渔业领域分词研究[J];安徽农业科学;2008年11期
2 李广水;宋丁全;;数据分析在森林资源调查中的应用及发展研究[J];安徽农业科学;2009年22期
3 季元叶;;服务发现体系架构发展现状及新架构的研究[J];办公自动化;2012年10期
4 左国才;周荣华;符开耀;;基于DBSCAN算法的电信客户分类的应用研究[J];北京联合大学学报(自然科学版);2012年03期
5 李晓方;武仲科;樊亚春;周明全;柳勇光;;一种新的用于三维检索的快速邻域搜索方法[J];北京师范大学学报(自然科学版);2011年05期
6 陈治昂;张毅;李大学;;基于Web智能的网络广告监测器研究与设计[J];重庆邮电大学学报(自然科学版);2009年01期
7 章林柯;崔立林;;潜艇机械噪声源分类识别的小样本研究思想及相关算法评述[J];船舶力学;2011年08期
8 丛荣华;;网络教育中的数据收集技术[J];长春师范学院学报;2006年10期
9 孙英娟;杨柳;何昆鸟;;属性离散化算法研究[J];长春师范学院学报(人文社会科学版);2009年12期
10 尚冬娟;张敏;;信息过滤系统中的混合式过滤算法[J];重庆工学院学报(自然科学版);2008年01期
中国重要会议论文全文数据库 前10条
1 曾成;赵锡均;徐红;;基于量子遗传算法的聚类方法[A];第二十九届中国控制会议论文集[C];2010年
2 汤薇;曾艳;;构建校园网搜索引擎必要性分析[A];广西计算机学会2008年年会论文集[C];2008年
3 ;A Fuzzy Neural Network System Modeling Method Based on Data-driven[A];Proceedings of 2010 Chinese Control and Decision Conference[C];2010年
4 刘保政;汪定伟;;基于多因素的相近距离聚类方法研究[A];Proceedings of the 2011 Chinese Control and Decision Conference(CCDC)[C];2011年
5 黄高平;苏金树;陈曙辉;;一种基于高速链路的Hash算法[A];2006年全国理论计算机科学学术年会论文集[C];2006年
6 张立涛;张宇峰;;基于聚类分析的大型桥梁结构健康监测数据异常识别研究[A];第21届全国结构工程学术会议论文集第Ⅱ册[C];2012年
7 苏亮;孙斌;;一种基于Lucene的Hash改进中文分词算法的实现[A];2007通信理论与技术新发展——第十二届全国青年通信学术会议论文集(上册)[C];2007年
8 周小平;梁一平;邓左祥;;元搜索引擎研究[A];2009年中国高校通信类院系学术研讨会论文集[C];2009年
9 邹永斌;陈兴蜀;王文贤;;一个高性能Web资源收集系统的设计与实现[A];2008'中国信息技术与应用学术论坛论文集(二)[C];2008年
10 吴继兵;李心科;;基于分治融合的混合属性数据聚类算法研究[A];全国第20届计算机技术与应用学术会议(CACIS·2009)暨全国第1届安全关键技术与应用学术会议论文集(下册)[C];2009年
中国博士学位论文全文数据库 前10条
1 徐森;文本聚类集成关键技术研究[D];哈尔滨工程大学;2010年
2 于翔;基于网格的数据流聚类方法研究[D];哈尔滨工程大学;2010年
3 徐红波;基于空间填充曲线高维空间查询算法研究[D];哈尔滨理工大学;2010年
4 尹可挺;Internet环境中基于QoS的Web服务组合研究[D];浙江大学;2010年
5 皋军;智能识别中的降维新方法及其应用研究[D];江南大学;2010年
6 苏晓珂;基于聚类的异常挖掘算法研究[D];东华大学;2010年
7 卓莹;基于拓扑·流量挖掘的网络态势感知技术研究[D];国防科学技术大学;2010年
8 陈彬;面向DEVS的多范式建模与仿真关键技术研究与实现[D];国防科学技术大学;2010年
9 高翠芳;模糊聚类新算法及应用研究[D];江南大学;2011年
10 李群;主题搜索引擎聚类算法的研究[D];北京林业大学;2011年
中国硕士学位论文全文数据库 前10条
1 程宾;基于用户兴趣模型的元搜索引擎的研究[D];山东科技大学;2010年
2 范丹;Web检索中的查询扩展及结果聚类技术研究[D];辽宁师范大学;2010年
3 徐财应;基于Lucene的搜索引擎技术的研究与改进[D];长春理工大学;2010年
4 刘文昊;基于模糊聚类和纹版辅助的织物疵点检测算法研究[D];浙江理工大学;2010年
5 李振;网络舆情预测关键技术研究[D];郑州大学;2010年
6 翁岩青;网页抓取策略研究[D];哈尔滨工程大学;2010年
7 丁金凤;基于网格与密度的数据流聚类算法研究[D];哈尔滨工程大学;2010年
8 司贺华;网络内容审计系统关键技术研究与实现[D];哈尔滨工程大学;2010年
9 刘靖媛;个性搜索引擎中用户兴趣模型研究[D];哈尔滨工程大学;2010年
10 汪永伟;搜索引擎中网页排序算法的研究与实现[D];哈尔滨工程大学;2010年
【二级参考文献】
中国期刊全文数据库 前10条
1 丁丰,董娜,林碧琴,袁保宗;自然语言处理系统中自动分词的研究[J];北方交通大学学报;1999年06期
2 张付志,刘明业;一种基于元搜索引擎的数字图书馆系统集成框架[J];北京理工大学学报;2004年08期
3 文庭孝;汉语自动分词研究进展[J];图书与情报;2005年05期
4 张俊丽;张帆;;KNN-FCM聚类算法在中文搜索引擎文本过滤中的应用[J];图书与情报;2007年04期
5 马燕,邹显春,包骏杰,李明;一种互联网智能元搜索引擎模型的设计[J];重庆师范大学学报(自然科学版);2004年03期
6 薛云,陈俊杰;Internet上有关元搜索引擎的研究与设计[J];电脑开发与应用;2003年04期
7 刘刚;于力超;;搜索引擎中网络蜘蛛的设计与实现[J];电脑与信息技术;2007年04期
8 彭曙蓉,章兢,杨文忠;MD5算法在消除重复网页算法中的应用[J];电脑知识与技术;2005年29期
9 李武装;;基于语义的企业搜索引擎的研究与实现[J];电脑知识与技术(学术交流);2007年08期
10 孟涛,闫宏飞,李晓明;一种评价搜索引擎信息覆盖率的模型及其验证[J];电子学报;2003年08期
中国博士学位论文全文数据库 前5条
1 李广建;个性化网络信息检索系统的研究与实现[D];中国科学院研究生院(文献情报中心);2002年
2 何军;Internet中多媒体信息过滤技术的研究[D];电子科技大学;2002年
3 李四明;基于智能Agent的网上农业信息挖掘研究[D];中国农业大学;2003年
4 胡鹤;本体方法及其时空推理应用研究[D];吉林大学;2004年
5 杜亚军;搜索引擎智能行为的研究及实现[D];西南交通大学;2005年
中国硕士学位论文全文数据库 前10条
1 李勇;智能检索中基于本体的个性化用户建模技术及应用[D];国防科学技术大学;2002年
2 许林杰;中文文本分词研究[D];山东师范大学;2003年
3 代学武;基于神经网络的用户建模和Web信息过滤研究[D];西南师范大学;2003年
4 薛云;Internet上元搜索引擎的研究与设计[D];太原理工大学;2003年
5 杨凤芹;建立层次结构用户兴趣模型的方法[D];东北师范大学;2004年
6 李益;基于多Agent的智能搜索引擎系统研究[D];哈尔滨工程大学;2004年
7 张校乾;基于Lucene的全文检索系统的研究与应用[D];大连理工大学;2005年
8 刘平冰;基于Lucene的Web站内信息搜索系统[D];电子科技大学;2005年
9 王洪英;基于区间值模糊集的模糊综合评判[D];山东大学;2005年
10 贺胜;面向现代汉语文本处理的全文检索、自动分词通用系统[D];南京师范大学;2006年
【相似文献】
中国期刊全文数据库 前10条
1 任惠静;;基于Lucene的面向主题搜索引擎的索引技术的研究[J];电脑知识与技术;2010年04期
2 朱海丰;秦杰;;基于Lucene与JSF的搜索引擎[J];福建电脑;2008年10期
3 刘敏娜;葛萌;陈娟;;基于Lucene的全文搜索引擎设计与实现[J];福建电脑;2009年05期
4 侯云;;构建基于Lucene的网站站内搜索[J];信息与电脑(理论版);2010年02期
5 温艳鸿;;基于lucene的文件搜索引擎的设计与扩展[J];福建电脑;2007年08期
6 陈沧;沈洁;高莺;;基于Lucene的校园网Web搜索服务研究与实现[J];中国教育信息化;2008年15期
7 张春燕;刘发升;;关于Lucene索引工具的性能优化研究[J];计算机技术与发展;2011年05期
8 刘建湘;杨文涛;;基于Lucene的搜索引擎在Struts中的应用[J];软件导刊;2007年03期
9 孟祥成;;基于Lucene和Heritrix技术搜索引擎的设计与实现[J];中国现代教育装备;2010年03期
10 任晓娜;;基于Lucene的全文搜索引擎的研究与实现[J];湖北广播电视大学学报;2010年05期
中国重要会议论文全文数据库 前10条
1 彭轲;廖闻剑;;浅析搜索引擎[A];中国通信学会第五届学术年会论文集[C];2008年
2 李丹;;如何利用搜索引擎查找中医药信息[A];中国中医药信息研究会第二届理事大会暨学术交流会议论文汇编[C];2003年
3 邓长寿;郭景峰;杨焱林;邓安远;;下一代Web搜索引擎初探[A];第十八届全国数据库学术会议论文集(研究报告篇)[C];2001年
4 维尼拉·木沙江;吐尔洪·吾司曼;;维、哈、柯文搜索引擎中网页爬行器的设计与实现[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
5 汤薇;曾艳;;构建校园网搜索引擎必要性分析[A];广西计算机学会2008年年会论文集[C];2008年
6 姚树宇;赵少东;;一种使用分布式技术的搜索引擎[A];2005年全国开放式分布与并行计算学术会议论文集[C];2005年
7 倪俊峰;;基于黄页搜索引擎的关键字排名广告系统的设计与实现[A];2005年中国索引学会年会暨学术研讨会论文集[C];2005年
8 张怡;查贵庭;;SEO在信息服务中的应用研究[A];2010年中国索引学会年会暨学术研讨会论文集[C];2010年
9 陈援非;何哲;朱珍民;;基于普适计算的个性化搜索技术[A];第二届和谐人机环境联合学术会议(HHME2006)——第2届中国普适计算学术会议(PCC'06)论文集[C];2006年
10 杨萌;李春丽;朱明;;网络搜索技术下的编辑工作[A];学报编辑论丛(第十一集)[C];2003年
中国重要报纸全文数据库 前10条
1 李一鑫;搜索排名的红与黑[N];财经时报;2007年
2 周文林;搜狗3.0能否撼动搜索市场[N];经济参考报;2007年
3 惠正一;比尔·盖茨:微软不怕Google[N];第一财经日报;2005年
4 赛迪顾问股份有限公司互联网与电子商务咨询中心 常燕杰;搜索,还是门户[N];中国计算机报;2005年
5 陈珊;浙江移动推出手机搜索引擎服务[N];人民邮电;2005年
6 赵法忠;搜索引擎还需悠着点[N];中国经营报;2005年
7 金朝力;搜索引擎火拼搜索质量[N];北京商报;2006年
8 本报记者  赵晓辉 孟昭丽;搜索引擎驶入“避风港”[N];中国证券报;2006年
9 孙琎;搜索引擎惊喜侵权官司止于“避风港”?[N];第一财经日报;2006年
10 姜蕊;问天下谁识搜索?[N];中国高新技术产业导报;2006年
中国博士学位论文全文数据库 前10条
1 岑荣伟;基于用户行为分析的搜索引擎评价研究[D];清华大学;2010年
2 李群;主题搜索引擎聚类算法的研究[D];北京林业大学;2011年
3 苏君华;面向搜索引擎的技术接受模型研究[D];南京大学;2011年
4 刘佐达;分布协作式搜索引擎模型及算法研究[D];清华大学;2011年
5 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年
6 郭眈;中文互联网视频搜索引擎系统策略研究[D];北京交通大学;2012年
7 王镠璞;基于用户体验的互联网搜索引擎医学信息检索可用性评估研究[D];吉林大学;2010年
8 李莎莎;面向搜索引擎的自然语言处理关键技术研究[D];国防科学技术大学;2011年
9 白玉琪;空间信息搜索引擎研究[D];中国科学院研究生院(遥感应用研究所);2003年
10 费巍;搜索引擎检索功能的性能评价研究[D];武汉大学;2010年
中国硕士学位论文全文数据库 前10条
1 徐财应;基于Lucene的搜索引擎技术的研究与改进[D];长春理工大学;2010年
2 闻峥;基于Lucene的搜索引擎优化[D];北京交通大学;2011年
3 张彬;基于lucene的搜索引擎[D];上海师范大学;2010年
4 杨晓丹;基于Lucene的主题搜索引擎模板的设计与实现[D];浙江工商大学;2011年
5 李建林;基于Lucene的Web搜索引擎的研究[D];兰州理工大学;2010年
6 尉建兴;基于Lucene搜索引擎的研究与应用[D];太原理工大学;2011年
7 潘亭沥;基于Lucene的面向商业应用的搜索引擎研究与实现[D];电子科技大学;2007年
8 何世林;基于Java技术的搜索引擎研究与实现[D];西南交通大学;2006年
9 刘平冰;基于Lucene的Web站内信息搜索系统[D];电子科技大学;2005年
10 王冬坡;基于Lucene的主题搜索引擎的研究与实现[D];河北科技大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026