收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于Lucene的Web搜索引擎的研究

李建林  
【摘要】: 随着网络信息量正不断地以指数规模增长,人类已步入信息爆炸时代。面对浩如烟海的网络信息,如何才能迅速、方便地获取有效信息,日益成为人们关心的问题。搜索引擎的出现极大地缓解了这一矛盾。搜索引擎是一种应用在Web上的软件系统,它以一定的策略在互联网中进行搜集、发现信息,对信息进行理解、提取、组织和处理,并为用户提供检索服务,从而起到信息导航的目的。 在当前网络信息的大环境里,网络上出现了很多商业性的Web搜索引擎,如Google、Baidu、Sougo等,他们极大地方便了网络用户。但由于他们的商业性质,其关键技术对于外界是保密的。为推进搜索引擎技术的发展,Apache基金会推出了一个开源的全文搜索引擎工具包Lucene。Lucene可以方便地嵌入到各种应用中,实现针对具体应用的全文检索功能,近些年来在世界各地被广泛应用。本文在现有搜索引擎理论的基础上,以Lucene为基础,并结合XML数据存储的思想,从不同层次研究了以Lucene为核心的搜索引擎的构建。 本文的主要工作体现在以下三个方面: 1.分析了当前搜索引擎的工作机制和关键技术,特别深刻地剖析了Lucene的索引引擎机制和搜索引擎机制,并在此基础上设计了基于Lucene的Web搜索引擎架构。 2.对于编写要求不严谨的HTML实现的网页要真正做到高效准确的挖掘数据非常困难。相对于HTML, XML可以更好地实现Web中的信息共享与交换。本文提出了XML数据抽取模块的设计思想,采用XML文件存储准备被索引的文件,可以有效地提高建立索引的速度和减小存储索引的空间,并能有效地提高数据挖掘的准确性。 3.针对Lucene原基础排序算法查询精确度较低并且只考虑关键词和文档的相关度,忽略了网页本身的重要性的缺点,本文对Lucene排序算法进行了改进,改进后算法的最大特点是通过调整权重系数提高网页排名的合理性和查询的精确度。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 刘兆伟;黄永峰;;面向主题搜索引擎的实现与优化[J];数据通信;2011年04期
2 陶镇威;周雨程;;基于Compass框架的高级搜索系统的设计与实现[J];重庆理工大学学报(自然科学);2011年08期
3 ;李彦宏论搜索引擎三个定律[J];新电子;2001年02期
4 相春雷;;2009年中国搜索引擎市场趋势分析[J];软件世界;2010年02期
5 ;揭秘搜索引擎收录网站的秘密[J];计算机与网络;2010年Z1期
6 周拴龙;;Lucene.net中文分词算法分析[J];郑州大学学报(理学版);2011年03期
7 马玥;;王小川:绝境之外[J];中国经济和信息化;2011年12期
8 ;创新工业搜索引擎[J];中国制造业信息化;2011年12期
9 魏蕾如;;基于搜索引擎的网络中文信息检索工具评价[J];数字技术与应用;2011年06期
10 胡风华;王磊;;基于知识库系统的智能搜索引擎研究[J];中国新技术新产品;2011年18期
11 方亚会;;Google失败后快速切换搜索引擎[J];电脑迷;2011年11期
12 ;成长中的谷歌[J];IT时代周刊;2011年18期
13 林丽华;;用好SOSO的微博搜索功能[J];电脑迷;2011年16期
14 徐浩;严帅;;基于web的实验报告提交系统[J];科技创新导报;2011年17期
15 张明蕾;;对“人肉搜索”的社会学解读[J];电视时代;2010年04期
16 李国锋;李春伟;;网络搜索引擎技术探析[J];廊坊师范学院学报;2005年04期
17 冷国华;;网页快照帮我快速获取资料[J];电脑爱好者;2011年10期
18 闫淑红;;基于搜索引擎的信息查询技术研究[J];电脑开发与应用;2011年07期
19 孙掌印;;搜索引擎Yahoo与Google的比较分析[J];科技情报开发与经济;2011年17期
20 王真;刘海燕;;搜索引擎的比较及在网络信息检索中的作用[J];黑龙江科技信息;2011年18期
中国重要会议论文全文数据库 前10条
1 邓长寿;郭景峰;杨焱林;邓安远;;下一代Web搜索引擎初探[A];第十八届全国数据库学术会议论文集(研究报告篇)[C];2001年
2 陶冶;刘建勋;唐明董;;基于Map/Reduce的分布式Web服务搜索引擎设计与实现[A];CCF NCSC 2011——第二届中国计算机学会服务计算学术会议论文集[C];2011年
3 殷华蓓;李通;唐常杰;张天庆;左志松;;从Web文件中挖掘个性化导航知识[A];第十七届全国数据库学术会议论文集(研究报告篇)[C];2000年
4 朱高平;乐嘉锦;;基于刻面分类和Lucene架构的Web服务发现技术的研究[A];第二十四届中国数据库学术会议论文集(技术报告篇)[C];2007年
5 姚静;郑佳谦;徐隽;牛军钰;;Intranet中Web对象的属性挖掘[A];第二十五届中国数据库学术会议论文集(二)[C];2008年
6 石晶;龚震宇;裘杭萍;;基于Web挖掘的个性化服务技术[A];第十九届全国数据库学术会议论文集(技术报告篇)[C];2002年
7 袁柳;李战怀;;基于语义搜索的Web服务匹配[A];第二十二届中国数据库学术会议论文集(技术报告篇)[C];2005年
8 李利波;刘明利;;一种改进的无回溯反向Web服务动态组合方法[A];2011年全国通信安全学术会议论文集[C];2011年
9 游争光;刘建勋;唐明董;;分布式Web服务测试系统的设计与实现[A];CCF NCSC 2011——第二届中国计算机学会服务计算学术会议论文集[C];2011年
10 邓志鸿;张铭;陈捷;杨冬青;唐世渭;;基于本体的Web信息检索模型初探[A];第十八届全国数据库学术会议论文集(研究报告篇)[C];2001年
中国博士学位论文全文数据库 前10条
1 岑荣伟;基于用户行为分析的搜索引擎评价研究[D];清华大学;2010年
2 许笑;分布式Web信息采集关键技术研究[D];哈尔滨工业大学;2011年
3 孙静宇;基于CBR的协同Web搜索研究[D];太原理工大学;2010年
4 钟美;基于Web的空间本体构建方法研究[D];武汉大学;2010年
5 李群;主题搜索引擎聚类算法的研究[D];北京林业大学;2011年
6 朱鲲鹏;基于Web日志挖掘的智能信息检索研究[D];哈尔滨工业大学;2009年
7 苏君华;面向搜索引擎的技术接受模型研究[D];南京大学;2011年
8 李常宝;基于索引的web服务发现研究[D];北京邮电大学;2011年
9 魏登萍;语义Web服务发现中匹配策略的研究与实现[D];国防科学技术大学;2011年
10 朱俊武;基于本体的Web服务语义支撑技术研究[D];南京航空航天大学;2008年
中国硕士学位论文全文数据库 前10条
1 李建林;基于Lucene的Web搜索引擎的研究[D];兰州理工大学;2010年
2 王磊;基于Web数据挖掘的搜索引擎设计与实现[D];解放军信息工程大学;2010年
3 欧建斌;基于Web挖掘与信息分类的个性化搜索引擎研究[D];暨南大学;2010年
4 刘平冰;基于Lucene的Web站内信息搜索系统[D];电子科技大学;2005年
5 黄华;基于搜索引擎和语义的Web服务发现研究[D];武汉理工大学;2011年
6 杨小林;语义Web及其在搜索引擎上的应用[D];湖南师范大学;2011年
7 宗明超;基于Web搜索引擎的汽车服务平台的设计与实现[D];电子科技大学;2011年
8 杨晓丹;基于Lucene的主题搜索引擎模板的设计与实现[D];浙江工商大学;2011年
9 赵善明;基于Lucene的主题搜索引擎研究[D];西安电子科技大学;2008年
10 闻峥;基于Lucene的搜索引擎优化[D];北京交通大学;2011年
中国重要报纸全文数据库 前10条
1 陈琳;挑战搜索引擎的游戏规则[N];第一财经日报;2009年
2 本报记者 边歆;八大安全威胁预示Web安全新变化[N];网络世界;2010年
3 边歆;动态阻断Web2.0威胁[N];网络世界;2009年
4 ;HTML5[N];人民邮电;2010年
5 ;有关社交Web的安全建议[N];网络世界;2009年
6 本报记者 汤浔芳;企业级Web 2.0很难突破10%[N];计算机世界;2010年
7 曾正乐;搜索引擎为啥那么热[N];经济日报;2005年
8 本报记者 秦海波;今夏搜索引擎最热[N];经济日报;2005年
9 闫辉;搜索引擎猜想[N];计算机世界;2005年
10 本报记者 李剑;搜索引擎进入“泛门户”时代[N];通信信息报;2005年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978