收藏本站
《长春理工大学》 2010年
收藏 | 手机打开
二维码
手机客户端打开本文

基于Lucene的搜索引擎技术的研究与改进

徐财应  
【摘要】: 随着互联网的普及,各种各样的繁多的信息在互联网上传播和存在,人们越来越多的喜欢使用互联网来获取信息,因此,如何在纷繁复杂的上万上亿的信息里,快捷而准确的获取自己所需要的信息呢?由此搜索引擎技术应运而生。 搜索引擎是指能在互联网上搜集并检索出用户需要的信息的系统,该系统主要由三部分组成:信息搜索、信息整理、用户查询。 Lucene是由Apache软件基金会支持和提供的一套开放源代码的用于全文检索引擎工具包,即它不是一个完整的全文检索引擎,而只是一个全文检索引擎的架构。 由于Lucene本身并没有像网络爬虫在互联网上搜集信息的模块,因此本文就要设计一个多线程的搜集信息的模块。 本文首先分析开源的全文检索引擎工具包Lucene的架构,然后分析Lucene在中文分词方面的不足,设计一种基于字典快速检索的中文分词算法;另一方面Lucene在检索结果排序方面也有不足之处,提出一种按出现的检索关键字的个数、检索关键字在文中出现的位置、频率等几种权重指标来对结果排序的算法;接着介绍用Java语言实现一个用于在网络上搜集信息的模块设计原理和流程;最后,实现一个完整的搜索引擎,从而对Lucene在中文分词和结果排序算法改进进行测试和评价。
【学位授予单位】:长春理工大学
【学位级别】:硕士
【学位授予年份】:2010
【分类号】:TP391.3

【引证文献】
中国硕士学位论文全文数据库 前4条
1 陈凯;搜索引擎有关排序算法研究[D];武汉理工大学;2011年
2 李兴芳;校园社区服务平台的设计与研究[D];河北农业大学;2012年
3 区健华;计量自动化多维信息展示系统在电能计量中的应用[D];华南理工大学;2012年
4 蔡晶晶;多文档全文检索系统的设计与开发[D];电子科技大学;2013年
【参考文献】
中国期刊全文数据库 前10条
1 王继成,萧嵘,孙正兴,张福炎;Web信息检索研究进展[J];计算机研究与发展;2001年02期
2 张晓刚,李明树;智能搜索引擎技术的研究与发展[J];计算机工程与应用;2001年24期
3 李岩,陈新中,杨炳儒;基于Web挖掘的智能门户搜索引擎的研究[J];计算机工程与应用;2002年04期
4 陈新明,钟涛,万钧,吴杰,张世永;WWW搜索引擎的数据采集技术[J];计算机工程与应用;2002年07期
5 陈燕娜,邵志清;基于全文搜索的中文搜索引擎设计技术[J];计算机工程与应用;2002年17期
6 刘迁;贾惠波;;中文信息处理中自动分词技术的研究与展望[J];计算机工程与应用;2006年03期
7 张卫丰;徐宝文;周晓宇;许蕾;李东;;Web搜索引擎综述[J];计算机科学;2001年09期
8 丁承,邵志清;基于字表的中文搜索引擎分词系统的设计与实现[J];计算机工程;2001年02期
9 印鉴,陈忆群,张钢;搜索引擎技术研究与发展[J];计算机工程;2005年14期
10 王琼;搜索引擎的四大发展趋势[J];农业网络信息;2005年03期
【共引文献】
中国期刊全文数据库 前10条
1 刘金红,夏阳,陆余良;基于Ontology的网络元数据抽取系统的研究与实现[J];安徽电子信息职业技术学院学报;2004年Z1期
2 陈蓉芳;郑晓波;王占朝;王海滨;董秀成;;基于“会诊式”推理控制策略的智能型搜索引擎的研究[J];安装;2007年01期
3 朱力平,丰国炳;用基于内容的Web图像搜索引擎设计消防电子化道路水源手册[J];安全与环境学报;2004年03期
4 王锡钢,刘振文;搜索引擎技术的分析与研究[J];鞍山钢铁学院学报;2002年06期
5 胡锡衡;;正向最大匹配法在中文分词技术中的应用[J];鞍山师范学院学报;2008年02期
6 赵晓凡;胡顺义;;基于正向最大匹配的汉语分词[J];安阳师范学院学报;2010年05期
7 季元叶;;服务发现体系架构发展现状及新架构的研究[J];办公自动化;2012年10期
8 龚汉明,周长胜;汉语分词技术综述[J];北京机械工业学院学报;2004年03期
9 马志强;周长胜;丁维;杨娜;;校园网搜索引擎的研究与实现[J];北京机械工业学院学报;2007年01期
10 李国和;刘光胜;吴卫江;孙红军;唐先明;韩宝东;;基于最大匹配和歧义检测的中文分词粗分方法[J];北京信息科技大学学报(自然科学版);2010年S2期
中国重要会议论文全文数据库 前10条
1 戴莉;周明全;武仲科;王永恒;王燕妮;周曼;;Lucene在智能答疑系统中的应用研究[A];图像图形技术与应用进展——第三届图像图形技术与应用学术会议论文集[C];2008年
2 杨卫明;;独立式搜索引擎原理及存在问题分析[A];2008年计算机应用技术交流会论文集[C];2008年
3 汤薇;曾艳;;构建校园网搜索引擎必要性分析[A];广西计算机学会2008年年会论文集[C];2008年
4 曹红;袁津生;;多领域主题搜索引擎研究[A];第一届全国Web信息系统及其应用会议(WISA2004)论文集[C];2004年
5 靳光瑾;郭曙纶;肖航;章云帆;;语料库加工中的规范问题——谈《信息处理用现代汉语词类标记集规范》[A];语言文字应用研究论文集(Ⅱ)[C];2004年
6 栾悉道;谢毓湘;文军;吴玲达;;基于知识库的主动式专题搜索引擎[A];第一届建立和谐人机环境联合学术会议(HHME2005)论文集[C];2005年
7 刘寿强;;基于Lucene的分级鉴权企业搜索引擎研究与设计[A];第二十一次全国计算机安全学术交流会论文集[C];2006年
8 汤志伟;王菁;;面向公众的电子政务个性化信息服务体系的构建[A];中国信息经济学会2007年学术年会论文集[C];2007年
9 刘雪芹;齐大朝;;基于robot的全文搜索引擎原理剖析[A];2011年全国电子信息技术与应用学术会议论文集[C];2011年
10 周小平;梁一平;邓左祥;;元搜索引擎研究[A];2009年中国高校通信类院系学术研讨会论文集[C];2009年
中国博士学位论文全文数据库 前10条
1 何因;排序学习中基于直接优化信息检索评价准则算法的理论分析[D];中国科学技术大学;2010年
2 吴羽;面向时间敏感对象的垂直搜索引擎关键技术研究[D];浙江大学;2011年
3 田俊华;基于本体知识库的教学资源自动采集技术研究[D];南京师范大学;2011年
4 王迈;语言形式化原理[D];上海外国语大学;2011年
5 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年
6 李广建;个性化网络信息检索系统的研究与实现[D];中国科学院研究生院(文献情报中心);2002年
7 李四明;基于智能Agent的网上农业信息挖掘研究[D];中国农业大学;2003年
8 应晓敏;面向Internet个性化服务的用户建模技术研究[D];中国人民解放军国防科学技术大学;2003年
9 张蕾;概念结构及其应用[D];西北工业大学;2001年
10 张伟;基于WWW的聚类引擎研究[D];重庆大学;2003年
中国硕士学位论文全文数据库 前10条
1 程宾;基于用户兴趣模型的元搜索引擎的研究[D];山东科技大学;2010年
2 刘国峰;数据模板匹配研究及在社保审计中的应用[D];哈尔滨工程大学;2010年
3 汪永伟;搜索引擎中网页排序算法的研究与实现[D];哈尔滨工程大学;2010年
4 孙原;基于酉变换的权威页面挖掘算法研究[D];哈尔滨工程大学;2010年
5 秦宏宇;网络舆情热点发现相关技术研究[D];哈尔滨工程大学;2010年
6 红霞;基于层叠条件随机场的中文机构名识别的研究[D];大连理工大学;2010年
7 刘林;基于语义的元搜索引擎关键技术研究[D];河南工业大学;2010年
8 许锦;基于本体的智能答疑系统研究与实现[D];江西师范大学;2010年
9 朱莹婷;基于迁移学习理论的Markov检索模型[D];江西师范大学;2010年
10 丛肖为;敏感信息监管系统的设计与实现[D];华东师范大学;2010年
【同被引文献】
中国期刊全文数据库 前10条
1 龚汉明,周长胜;汉语分词技术综述[J];北京机械工业学院学报;2004年03期
2 方亮;;信息树在信息可视化中的应用[J];图书与情报;2007年02期
3 周平;;Lucene全文检索引擎技术及应用[J];重庆工学院学报(自然科学版);2007年04期
4 高俊;地图学四面体——数字化时代地图学的诠释[J];测绘学报;2004年01期
5 万畅;“以物易物”重新焕发生机[J];财会月刊;2000年23期
6 王晓明;刘瑜;张晶;;地理空间认知综述[J];地理与地理信息科学;2005年06期
7 刘磊安;符志强;;基于Lucene.net网络爬虫的设计与实现[J];电脑知识与技术;2010年08期
8 张彦;;网络易物模式中存在的问题探讨[J];四川工程职业技术学院学报;2008年03期
9 王嘉琦;;浅谈我国C2C换物网站的发展现状[J];电子商务;2011年06期
10 林宫;;基于OLE和VBA的数据库与WORD数据交互研究[J];福州大学学报(自然科学版);2006年06期
中国重要报纸全文数据库 前1条
1 杜琴庆;[N];江苏经济报;2006年
中国博士学位论文全文数据库 前1条
1 陈红涛;基于搜索日志的用户行为研究及应用[D];北京邮电大学;2008年
中国硕士学位论文全文数据库 前10条
1 陈凯;搜索引擎有关排序算法研究[D];武汉理工大学;2011年
2 于波;中文全文检索技术研究[D];华中师范大学;2003年
3 陆李红;基于Struts框架的知识门户系统探究[D];华东师范大学;2006年
4 陈宁;Lucene全文检索在网络教学平台中的应用研究[D];大连海事大学;2007年
5 姜华;基于Lucene面向主题搜索引擎的研究与设计[D];华东师范大学;2007年
6 李四达;全文索引引擎Lucene的研究及其手机中的应用实现[D];华北电力大学(北京);2007年
7 徐金雷;专业搜索引擎的排序算法研究[D];南京师范大学;2007年
8 左军;基于Lucene网络视频垂直搜索系统的设计与实现[D];北京邮电大学;2007年
9 李明浩;基于搜索引擎和数据挖掘的个性化web信息服务[D];吉林大学;2008年
10 胡长春;基于Lucene的中文自然语言搜索引擎[D];上海交通大学;2009年
【二级引证文献】
中国硕士学位论文全文数据库 前2条
1 孙进;基于Slor的个性化搜索引擎设计与实现[D];北京化工大学;2012年
2 蔡晶晶;多文档全文检索系统的设计与开发[D];电子科技大学;2013年
【二级参考文献】
中国期刊全文数据库 前10条
1 雷鸣,王建勇,赵江华,单松巍,陈葆珏;第三代搜索引擎与天网二期[J];北京大学学报(自然科学版);2001年05期
2 武助宇,刘文青;中文搜索引擎发展趋势[J];高校图书馆工作;2003年02期
3 王继成,潘金贵,张福炎;Web文本挖掘技术研究[J];计算机研究与发展;2000年05期
4 王继成,萧嵘,孙正兴,张福炎;Web信息检索研究进展[J];计算机研究与发展;2001年02期
5 孙茂松,黄昌宁,邹嘉彦,陆方,沈达阳;利用汉字二元语法关系解决汉语自动分词中的交集型歧义[J];计算机研究与发展;1997年05期
6 林彤,江志军;Internet的搜索引擎[J];计算机工程与应用;2000年05期
7 黄于蓝,王洪,徐端颐,贾惠波;多元搜索引擎系统的设计与实现[J];计算机工程与应用;2001年23期
8 张晓刚,李明树;智能搜索引擎技术的研究与发展[J];计算机工程与应用;2001年24期
9 李岩,陈新中,杨炳儒;基于Web挖掘的智能门户搜索引擎的研究[J];计算机工程与应用;2002年04期
10 湛燕,陈昊,袁方,王熙照;基于中文文本分类的分词方法研究[J];计算机工程与应用;2003年23期
【相似文献】
中国期刊全文数据库 前9条
1 陈大平;;搜索引擎技术方式之探析[J];长春理工大学学报(高教版);2009年10期
2 骆庆;;中文搜索引擎中的网络蜘蛛[J];福建电脑;2006年12期
3 骆庆;向华;;搜索引擎技术的关键技术——排序[J];福建电脑;2006年10期
4 王玲;;搜索引擎技术的现状与展望[J];科技文献信息管理;2004年02期
5 张焕武;;搜索引擎技术研究的现状与展望[J];科技情报开发与经济;2009年03期
6 王苏舰;李鹏;吕华侨;;个性化搜索引擎应用于信息服务业初探[J];现代情报;2010年04期
7 张瑞平;;搜索引擎技术分类及其发展过程[J];中共山西省委党校学报;2010年03期
8 王小兰;;浅析数字图书馆检索工具及其功能[J];江西图书馆学刊;2007年01期
9 李冰岩;黄地龙;郝园;;基于Web的搜索引擎算法的研究[J];电脑与电信;2010年05期
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026