收藏本站
《长春理工大学》 2010年
收藏 | 手机打开
二维码
手机客户端打开本文

基于Lucene的搜索引擎技术的研究与改进

徐财应  
【摘要】: 随着互联网的普及,各种各样的繁多的信息在互联网上传播和存在,人们越来越多的喜欢使用互联网来获取信息,因此,如何在纷繁复杂的上万上亿的信息里,快捷而准确的获取自己所需要的信息呢?由此搜索引擎技术应运而生。 搜索引擎是指能在互联网上搜集并检索出用户需要的信息的系统,该系统主要由三部分组成:信息搜索、信息整理、用户查询。 Lucene是由Apache软件基金会支持和提供的一套开放源代码的用于全文检索引擎工具包,即它不是一个完整的全文检索引擎,而只是一个全文检索引擎的架构。 由于Lucene本身并没有像网络爬虫在互联网上搜集信息的模块,因此本文就要设计一个多线程的搜集信息的模块。 本文首先分析开源的全文检索引擎工具包Lucene的架构,然后分析Lucene在中文分词方面的不足,设计一种基于字典快速检索的中文分词算法;另一方面Lucene在检索结果排序方面也有不足之处,提出一种按出现的检索关键字的个数、检索关键字在文中出现的位置、频率等几种权重指标来对结果排序的算法;接着介绍用Java语言实现一个用于在网络上搜集信息的模块设计原理和流程;最后,实现一个完整的搜索引擎,从而对Lucene在中文分词和结果排序算法改进进行测试和评价。
【学位授予单位】:长春理工大学
【学位级别】:硕士
【学位授予年份】:2010
【分类号】:TP391.3

知网文化
【引证文献】
中国硕士学位论文全文数据库 前2条
1 陈凯;搜索引擎有关排序算法研究[D];武汉理工大学;2011年
2 李兴芳;校园社区服务平台的设计与研究[D];河北农业大学;2012年
【参考文献】
中国期刊全文数据库 前10条
1 王继成,萧嵘,孙正兴,张福炎;Web信息检索研究进展[J];计算机研究与发展;2001年02期
2 张晓刚,李明树;智能搜索引擎技术的研究与发展[J];计算机工程与应用;2001年24期
3 李岩,陈新中,杨炳儒;基于Web挖掘的智能门户搜索引擎的研究[J];计算机工程与应用;2002年04期
4 陈新明,钟涛,万钧,吴杰,张世永;WWW搜索引擎的数据采集技术[J];计算机工程与应用;2002年07期
5 陈燕娜,邵志清;基于全文搜索的中文搜索引擎设计技术[J];计算机工程与应用;2002年17期
6 刘迁;贾惠波;;中文信息处理中自动分词技术的研究与展望[J];计算机工程与应用;2006年03期
7 张卫丰;徐宝文;周晓宇;许蕾;李东;;Web搜索引擎综述[J];计算机科学;2001年09期
8 丁承,邵志清;基于字表的中文搜索引擎分词系统的设计与实现[J];计算机工程;2001年02期
9 印鉴,陈忆群,张钢;搜索引擎技术研究与发展[J];计算机工程;2005年14期
10 王琼;搜索引擎的四大发展趋势[J];农业网络信息;2005年03期
【共引文献】
中国期刊全文数据库 前10条
1 刘金红,夏阳,陆余良;基于Ontology的网络元数据抽取系统的研究与实现[J];安徽电子信息职业技术学院学报;2004年Z1期
2 陈蓉芳;郑晓波;王占朝;王海滨;董秀成;;基于“会诊式”推理控制策略的智能型搜索引擎的研究[J];安装;2007年01期
3 朱力平,丰国炳;用基于内容的Web图像搜索引擎设计消防电子化道路水源手册[J];安全与环境学报;2004年03期
4 王锡钢,刘振文;搜索引擎技术的分析与研究[J];鞍山钢铁学院学报;2002年06期
5 胡锡衡;;正向最大匹配法在中文分词技术中的应用[J];鞍山师范学院学报;2008年02期
6 赵晓凡;胡顺义;;基于正向最大匹配的汉语分词[J];安阳师范学院学报;2010年05期
7 季元叶;;服务发现体系架构发展现状及新架构的研究[J];办公自动化;2012年10期
8 龚汉明,周长胜;汉语分词技术综述[J];北京机械工业学院学报;2004年03期
9 马志强;周长胜;丁维;杨娜;;校园网搜索引擎的研究与实现[J];北京机械工业学院学报;2007年01期
10 李国和;刘光胜;吴卫江;孙红军;唐先明;韩宝东;;基于最大匹配和歧义检测的中文分词粗分方法[J];北京信息科技大学学报(自然科学版);2010年S2期
中国重要会议论文全文数据库 前10条
1 戴莉;周明全;武仲科;王永恒;王燕妮;周曼;;Lucene在智能答疑系统中的应用研究[A];图像图形技术与应用进展——第三届图像图形技术与应用学术会议论文集[C];2008年
2 杨卫明;;独立式搜索引擎原理及存在问题分析[A];2008年计算机应用技术交流会论文集[C];2008年
3 汤薇;曾艳;;构建校园网搜索引擎必要性分析[A];广西计算机学会2008年年会论文集[C];2008年
4 曹红;袁津生;;多领域主题搜索引擎研究[A];第一届全国Web信息系统及其应用会议(WISA2004)论文集[C];2004年
5 靳光瑾;郭曙纶;肖航;章云帆;;语料库加工中的规范问题——谈《信息处理用现代汉语词类标记集规范》[A];语言文字应用研究论文集(Ⅱ)[C];2004年
6 栾悉道;谢毓湘;文军;吴玲达;;基于知识库的主动式专题搜索引擎[A];第一届建立和谐人机环境联合学术会议(HHME2005)论文集[C];2005年
7 刘寿强;;基于Lucene的分级鉴权企业搜索引擎研究与设计[A];第二十一次全国计算机安全学术交流会论文集[C];2006年
8 汤志伟;王菁;;面向公众的电子政务个性化信息服务体系的构建[A];中国信息经济学会2007年学术年会论文集[C];2007年
9 刘雪芹;齐大朝;;基于robot的全文搜索引擎原理剖析[A];2011年全国电子信息技术与应用学术会议论文集[C];2011年
10 周小平;梁一平;邓左祥;;元搜索引擎研究[A];2009年中国高校通信类院系学术研讨会论文集[C];2009年
中国博士学位论文全文数据库 前10条
1 何因;排序学习中基于直接优化信息检索评价准则算法的理论分析[D];中国科学技术大学;2010年
2 吴羽;面向时间敏感对象的垂直搜索引擎关键技术研究[D];浙江大学;2011年
3 田俊华;基于本体知识库的教学资源自动采集技术研究[D];南京师范大学;2011年
4 王迈;语言形式化原理[D];上海外国语大学;2011年
5 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年
6 李广建;个性化网络信息检索系统的研究与实现[D];中国科学院研究生院(文献情报中心);2002年
7 李四明;基于智能Agent的网上农业信息挖掘研究[D];中国农业大学;2003年
8 应晓敏;面向Internet个性化服务的用户建模技术研究[D];中国人民解放军国防科学技术大学;2003年
9 张蕾;概念结构及其应用[D];西北工业大学;2001年
10 张伟;基于WWW的聚类引擎研究[D];重庆大学;2003年
中国硕士学位论文全文数据库 前10条
1 程宾;基于用户兴趣模型的元搜索引擎的研究[D];山东科技大学;2010年
2 刘国峰;数据模板匹配研究及在社保审计中的应用[D];哈尔滨工程大学;2010年
3 汪永伟;搜索引擎中网页排序算法的研究与实现[D];哈尔滨工程大学;2010年
4 孙原;基于酉变换的权威页面挖掘算法研究[D];哈尔滨工程大学;2010年
5 秦宏宇;网络舆情热点发现相关技术研究[D];哈尔滨工程大学;2010年
6 红霞;基于层叠条件随机场的中文机构名识别的研究[D];大连理工大学;2010年
7 刘林;基于语义的元搜索引擎关键技术研究[D];河南工业大学;2010年
8 许锦;基于本体的智能答疑系统研究与实现[D];江西师范大学;2010年
9 朱莹婷;基于迁移学习理论的Markov检索模型[D];江西师范大学;2010年
10 丛肖为;敏感信息监管系统的设计与实现[D];华东师范大学;2010年
【同被引文献】
中国期刊全文数据库 前10条
1 万畅;“以物易物”重新焕发生机[J];财会月刊;2000年23期
2 刘磊安;符志强;;基于Lucene.net网络爬虫的设计与实现[J];电脑知识与技术;2010年08期
3 张彦;;网络易物模式中存在的问题探讨[J];四川工程职业技术学院学报;2008年03期
4 王嘉琦;;浅谈我国C2C换物网站的发展现状[J];电子商务;2011年06期
5 张春元;康耀红;伍小芹;;Web信息检索排序算法研究[J];海南大学学报(自然科学版);2009年01期
6 刘甫;;校园易物网站的设计及在校园中的实现[J];河南科技;2011年17期
7 杨海东,张莉;PageRank技术分析与搜索引擎检索效率研究[J];淮阴师范学院学报(自然科学版);2003年03期
8 王建勇,单松巍,雷鸣,谢正茂,李晓明;海量Web搜索引擎系统中用户行为的分布特征及其启示[J];中国科学E辑:技术科学;2001年04期
9 张岭,马范援;加速评估算法:一种提高Web结构挖掘质量的新方法[J];计算机研究与发展;2004年01期
10 武毅;钟志农;;基于Lucene.Net的安全信息系统全文检索引擎的设计与实现[J];计算机与信息技术;2011年Z2期
中国重要报纸全文数据库 前1条
1 杜琴庆;[N];江苏经济报;2006年
中国博士学位论文全文数据库 前1条
1 陈红涛;基于搜索日志的用户行为研究及应用[D];北京邮电大学;2008年
中国硕士学位论文全文数据库 前6条
1 徐金雷;专业搜索引擎的排序算法研究[D];南京师范大学;2007年
2 李明浩;基于搜索引擎和数据挖掘的个性化web信息服务[D];吉林大学;2008年
3 周旋;论SNS网站及其本土化[D];湖南师范大学;2010年
4 杨之音;第三代搜索引擎现状与发展研究[D];东北师范大学;2010年
5 赵联冠;分布式信息检索引擎的分析与实现[D];华东师范大学;2010年
6 刘红莲;基于链接分析的搜索引擎排序算法研究[D];四川师范大学;2010年
【二级引证文献】
中国硕士学位论文全文数据库 前1条
1 孙进;基于Slor的个性化搜索引擎设计与实现[D];北京化工大学;2012年
【二级参考文献】
中国期刊全文数据库 前10条
1 雷鸣,王建勇,赵江华,单松巍,陈葆珏;第三代搜索引擎与天网二期[J];北京大学学报(自然科学版);2001年05期
2 武助宇,刘文青;中文搜索引擎发展趋势[J];高校图书馆工作;2003年02期
3 王继成,潘金贵,张福炎;Web文本挖掘技术研究[J];计算机研究与发展;2000年05期
4 王继成,萧嵘,孙正兴,张福炎;Web信息检索研究进展[J];计算机研究与发展;2001年02期
5 孙茂松,黄昌宁,邹嘉彦,陆方,沈达阳;利用汉字二元语法关系解决汉语自动分词中的交集型歧义[J];计算机研究与发展;1997年05期
6 林彤,江志军;Internet的搜索引擎[J];计算机工程与应用;2000年05期
7 黄于蓝,王洪,徐端颐,贾惠波;多元搜索引擎系统的设计与实现[J];计算机工程与应用;2001年23期
8 张晓刚,李明树;智能搜索引擎技术的研究与发展[J];计算机工程与应用;2001年24期
9 李岩,陈新中,杨炳儒;基于Web挖掘的智能门户搜索引擎的研究[J];计算机工程与应用;2002年04期
10 湛燕,陈昊,袁方,王熙照;基于中文文本分类的分词方法研究[J];计算机工程与应用;2003年23期
【相似文献】
中国期刊全文数据库 前10条
1 任惠静;;基于Lucene的面向主题搜索引擎的索引技术的研究[J];电脑知识与技术;2010年04期
2 朱海丰;秦杰;;基于Lucene与JSF的搜索引擎[J];福建电脑;2008年10期
3 刘敏娜;葛萌;陈娟;;基于Lucene的全文搜索引擎设计与实现[J];福建电脑;2009年05期
4 侯云;;构建基于Lucene的网站站内搜索[J];信息与电脑(理论版);2010年02期
5 温艳鸿;;基于lucene的文件搜索引擎的设计与扩展[J];福建电脑;2007年08期
6 刘建湘;杨文涛;;基于Lucene的搜索引擎在Struts中的应用[J];软件导刊;2007年03期
7 陈沧;沈洁;高莺;;基于Lucene的校园网Web搜索服务研究与实现[J];中国教育信息化;2008年15期
8 孟祥成;;基于Lucene和Heritrix技术搜索引擎的设计与实现[J];中国现代教育装备;2010年03期
9 任晓娜;;基于Lucene的全文搜索引擎的研究与实现[J];湖北广播电视大学学报;2010年05期
10 张春燕;刘发升;;关于Lucene索引工具的性能优化研究[J];计算机技术与发展;2011年05期
中国重要会议论文全文数据库 前10条
1 彭轲;廖闻剑;;浅析搜索引擎[A];中国通信学会第五届学术年会论文集[C];2008年
2 李丹;;如何利用搜索引擎查找中医药信息[A];中国中医药信息研究会第二届理事大会暨学术交流会议论文汇编[C];2003年
3 邓长寿;郭景峰;杨焱林;邓安远;;下一代Web搜索引擎初探[A];第十八届全国数据库学术会议论文集(研究报告篇)[C];2001年
4 维尼拉·木沙江;吐尔洪·吾司曼;;维、哈、柯文搜索引擎中网页爬行器的设计与实现[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
5 汤薇;曾艳;;构建校园网搜索引擎必要性分析[A];广西计算机学会2008年年会论文集[C];2008年
6 姚树宇;赵少东;;一种使用分布式技术的搜索引擎[A];2005年全国开放式分布与并行计算学术会议论文集[C];2005年
7 倪俊峰;;基于黄页搜索引擎的关键字排名广告系统的设计与实现[A];2005年中国索引学会年会暨学术研讨会论文集[C];2005年
8 张怡;查贵庭;;SEO在信息服务中的应用研究[A];2010年中国索引学会年会暨学术研讨会论文集[C];2010年
9 陈援非;何哲;朱珍民;;基于普适计算的个性化搜索技术[A];第二届和谐人机环境联合学术会议(HHME2006)——第2届中国普适计算学术会议(PCC'06)论文集[C];2006年
10 杨萌;李春丽;朱明;;网络搜索技术下的编辑工作[A];学报编辑论丛(第十一集)[C];2003年
中国重要报纸全文数据库 前10条
1 李一鑫;搜索排名的红与黑[N];财经时报;2007年
2 周文林;搜狗3.0能否撼动搜索市场[N];经济参考报;2007年
3 惠正一;比尔·盖茨:微软不怕Google[N];第一财经日报;2005年
4 赛迪顾问股份有限公司互联网与电子商务咨询中心 常燕杰;搜索,还是门户[N];中国计算机报;2005年
5 陈珊;浙江移动推出手机搜索引擎服务[N];人民邮电;2005年
6 赵法忠;搜索引擎还需悠着点[N];中国经营报;2005年
7 金朝力;搜索引擎火拼搜索质量[N];北京商报;2006年
8 本报记者  赵晓辉 孟昭丽;搜索引擎驶入“避风港”[N];中国证券报;2006年
9 孙琎;搜索引擎惊喜侵权官司止于“避风港”?[N];第一财经日报;2006年
10 姜蕊;问天下谁识搜索?[N];中国高新技术产业导报;2006年
中国博士学位论文全文数据库 前10条
1 岑荣伟;基于用户行为分析的搜索引擎评价研究[D];清华大学;2010年
2 李群;主题搜索引擎聚类算法的研究[D];北京林业大学;2011年
3 苏君华;面向搜索引擎的技术接受模型研究[D];南京大学;2011年
4 刘佐达;分布协作式搜索引擎模型及算法研究[D];清华大学;2011年
5 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年
6 郭眈;中文互联网视频搜索引擎系统策略研究[D];北京交通大学;2012年
7 王镠璞;基于用户体验的互联网搜索引擎医学信息检索可用性评估研究[D];吉林大学;2010年
8 李莎莎;面向搜索引擎的自然语言处理关键技术研究[D];国防科学技术大学;2011年
9 白玉琪;空间信息搜索引擎研究[D];中国科学院研究生院(遥感应用研究所);2003年
10 费巍;搜索引擎检索功能的性能评价研究[D];武汉大学;2010年
中国硕士学位论文全文数据库 前10条
1 徐财应;基于Lucene的搜索引擎技术的研究与改进[D];长春理工大学;2010年
2 闻峥;基于Lucene的搜索引擎优化[D];北京交通大学;2011年
3 张彬;基于lucene的搜索引擎[D];上海师范大学;2010年
4 杨晓丹;基于Lucene的主题搜索引擎模板的设计与实现[D];浙江工商大学;2011年
5 尉建兴;基于Lucene搜索引擎的研究与应用[D];太原理工大学;2011年
6 李建林;基于Lucene的Web搜索引擎的研究[D];兰州理工大学;2010年
7 潘亭沥;基于Lucene的面向商业应用的搜索引擎研究与实现[D];电子科技大学;2007年
8 何世林;基于Java技术的搜索引擎研究与实现[D];西南交通大学;2006年
9 刘平冰;基于Lucene的Web站内信息搜索系统[D];电子科技大学;2005年
10 王冬坡;基于Lucene的主题搜索引擎的研究与实现[D];河北科技大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026