收藏本站
《南京大学》 2013年
收藏 | 手机打开
二维码
手机客户端打开本文

基于Lucene的HBase全文检索功能的设计与实现

邹敏昊  
【摘要】:随着数据的不断增长以及人们对数据仓库、数据挖掘等方面越来越重视,NoSQL变得越来越普及,HBase发展良好并得到更多的用户认可,但是HBase本身的只有简单的按row key顺序扫描数据的方式已经渐渐不能满足用户的各种需求,很多情况下用户不得不花大量的时间对全表进行扫描。 使用二级索引或者全文索引来扩展HBase的查询方式以及提升查询速度成为研究的一个方向,HBase全文检索功能是我们最近所做的一个尝试。 HBase全文检索功能的索引与查询基于常用的信息检索库Lucene,索引存储在HDFS上以保证数据的安全,通过使用HBase的Coprocessor框架良好的与HBase结合,在尽可能少改动HBase源代码的前提下为HBase增加全文检索功能,实现了在插入数据的同时建立索引,并可以提供多关键字的查询。同时我们还整合了常用的分词算法库。 HBase全文检索功能经过测试,能够在插入数据的同时建立索引,并且能够较快的响应查询请求。但在测试中我们发现该方案对高并发的支持并不好,只适用于查询并发度较低的情况。
【学位授予单位】:南京大学
【学位级别】:硕士
【学位授予年份】:2013
【分类号】:TP311.13

【相似文献】
中国期刊全文数据库 前10条
1 张以维;;基于Open Source的全文检索框架[J];计算机系统应用;2007年06期
2 王富强;朱浩群;张立朝;龙明;廖迅;;地方志数据库全文信息检索研究[J];测绘通报;2008年02期
3 刘昌明;王丛林;;基于Lucene的自动答疑系统的研究与设计[J];电脑编程技巧与维护;2009年S1期
4 李明宙;罗艳;王宗义;;Lucene全文检索引擎的结构机制与应用方式[J];广西科学院学报;2010年04期
5 李焱;路莹;;基于Lucene的医学文献检索系统[J];中华医学图书情报杂志;2010年09期
6 梁弼;王光琼;邓小清;;基于Lucene的全文检索系统模型的研究及应用[J];微型机与应用;2011年01期
7 权聪敏;赵钊;文福安;;基于Lucene的智能答疑系统的研究与实现[J];郑州大学学报(理学版);2007年02期
8 刘灿;;开源信息检索库Lucene的关键技术研究[J];科技信息(学术研究);2008年29期
9 梁永霖;;基于Java的全文检索引擎Lucene的分析与研究[J];电脑知识与技术;2008年20期
10 张香梅;徐立;;lucene中文切词算法的改进[J];科技信息;2009年28期
中国重要会议论文全文数据库 前10条
1 李明宙;罗艳;王宗义;;Lucene全文检索引擎的研究及应用[A];广西计算机学会2010年学术年会论文集[C];2010年
2 王富强;马德涛;张立朝;王建明;;地方志数据库全文信息检索研究[A];中国地理信息系统协会第四次会员代表大会暨第十一届年会论文集[C];2007年
3 戴莉;周明全;武仲科;王永恒;王燕妮;周曼;;Lucene在智能答疑系统中的应用研究[A];图像图形技术与应用进展——第三届图像图形技术与应用学术会议论文集[C];2008年
4 苏亮;孙斌;;一种基于Lucene的Hash改进中文分词算法的实现[A];2007通信理论与技术新发展——第十二届全国青年通信学术会议论文集(上册)[C];2007年
5 张天庆;魏志毅;周韬;唐常杰;于中华;;有效时间自然联结在HBase中的实现算法[A];数据库研究与进展95——第十三届全国数据库学术会议论文集[C];1995年
6 申兵一;巩青歌;;基于Lucene桌面搜索引擎系统的设计和实现[A];江苏省电子学会2010年学术年会论文集[C];2010年
7 朱高平;乐嘉锦;;基于刻面分类和Lucene架构的Web服务发现技术的研究[A];第二十四届中国数据库学术会议论文集(技术报告篇)[C];2007年
8 李应兴;付婷;李勇;;基于LUCENE的藏文信息检索的研究与应用[A];民族语言文字信息技术研究——第十一届全国民族语言文字信息学术研讨会论文集[C];2007年
9 刘源;詹舒波;;基于Solr的行业垂直搜索平台的研究[A];2008通信理论与技术新进展——第十三届全国青年通信学术会议论文集(上)[C];2008年
10 ;Web搜索引擎原理与应用[A];四川省通信学会2005年学术年会论文集[C];2005年
中国重要报纸全文数据库 前10条
1 张伟;增强全文检索与搜索功能[N];中国计算机报;2008年
2 松涛;雅风全文检索器[N];中国电脑教育报;2004年
3 杨宝昌;让MySQL支持中文全文检索[N];计算机世界;2006年
4 温苏刚 姚大红;在PB中实现全文检索[N];计算机世界;2002年
5 冯贝;“工”于全文检索的数据库系统[N];科技日报;2001年
6 宁夏数据通信局 刘君;SQL Server 2000中全文检索的使用[N];计算机世界;2002年
7 宁夏 刘君;SQL Server中全文检索的使用[N];电脑报;2001年
8 本报记者 孙志永;国信贝斯iBASE 为数据库添加“全文检索”[N];中国计算机报;2001年
9 ;大恒FTR全文检索软硬件解决方案[N];计算机世界;2001年
10 子华;从全文检索到信息整合[N];计算机世界;2003年
中国博士学位论文全文数据库 前7条
1 刘永丹;文档数据库若干关键技术研究[D];复旦大学;2004年
2 刘健;面向信息检索的文本信息组织关键技术研究[D];国防科学技术大学;2009年
3 周科松;全文检索与GIS一体化及在应急管理中的应用研究[D];华东师范大学;2009年
4 徐婕;基于对等网络的资源搜索策略的研究[D];华中科技大学;2007年
5 马刘凤;中国古书凡例研究[D];武汉大学;2009年
6 常娥;古籍智能处理技术研究[D];南京农业大学;2007年
7 李群;主题搜索引擎聚类算法的研究[D];北京林业大学;2011年
中国硕士学位论文全文数据库 前10条
1 邹敏昊;基于Lucene的HBase全文检索功能的设计与实现[D];南京大学;2013年
2 卢光华;基于Lucene的全文检索研究与应用[D];吉林大学;2009年
3 闻峥;基于Lucene的搜索引擎优化[D];北京交通大学;2011年
4 王冬坡;基于Lucene的主题搜索引擎的研究与实现[D];河北科技大学;2010年
5 张彬;基于lucene的搜索引擎[D];上海师范大学;2010年
6 徐财应;基于Lucene的搜索引擎技术的研究与改进[D];长春理工大学;2010年
7 周月红;基于Lucene的站内搜索引擎的设计与开发[D];华东理工大学;2011年
8 江毅铭;专业搜索引擎索引技术的研究与实现[D];北京化工大学;2005年
9 姚林涛;基于Lucene的Web搜索引擎实现[D];西安电子科技大学;2008年
10 陈航哲;基于Lucene的垂直搜索引擎的研究与应用[D];暨南大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026