收藏本站
《南京大学》 2013年
收藏 | 手机打开
二维码
手机客户端打开本文

HBase大对象存储方案的设计与实现

康毅  
【摘要】:海量数据的时代正在到来,随着互联网的急速发展,网络访问量、网络访问日志、通讯记录、视频资料、移动网络和各种智能终端所产生的巨大数据集的规模也在急剧扩大。而其数据集的一个重要特点体现在:超过80%的数据是非结构化的。传统技术无法胜任大数据集的分析、管理和挖掘,目前业界对于大数据处理的一种流行解决方案为HBase。 HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。而非结构化数据作为一个大对象(Large Object), HBase对其的处理与其他结构化数据一样,因此,在HBase的数据导入过程中,由于大量非结构化数据的导入,HBase的Region大小增长迅速,其Region的Split过程和Compact过程会频繁促发,在一定程度上卡住客户端的写入,影响HBase的插入性能。 因此,如果能在插入时减少其HBase Region的Split和Compact次数肯定能在很大程度上提高其HBase的插入性能。与此同时我们也需要兼顾其读取的性能和存储的管理复杂度,并且在不引入外部因素的同时最小程度的修改HBase源代码。基于这些因素,提出自己的HBase的大对象存储(Large Object Storage, LOB)解决方案。
【学位授予单位】:南京大学
【学位级别】:硕士
【学位授予年份】:2013
【分类号】:TP311.13

【相似文献】
中国期刊全文数据库 前6条
1 唐常杰,何贤江,于中华,张天庆,沙芦华,李志蜀;信息高速公路的引桥——信译Internet机译系统[J];计算机应用;1997年02期
2 熊岚,熊明,唐常杰;HBase的时态语义处理机制和时态查询语言[J];计算机应用;1993年01期
3 唐常杰,相利民;HBase中时态查询语言[J];四川大学学报(自然科学版);1995年06期
4 ;计算机应用1993年1—6期总目录[J];计算机应用;1993年06期
5 唐常杰,韩仲清,胡军,相利民,张一立,熊明,熊岚;历史性知识的特殊性及其推理机[J];四川大学学报(自然科学版);1992年01期
6 唐常杰,吴子华;时态数据库研究的过去,现状和发展方向[J];计算机应用;1993年01期
中国重要会议论文全文数据库 前4条
1 张天庆;魏志毅;周韬;唐常杰;于中华;;有效时间自然联结在HBase中的实现算法[A];数据库研究与进展95——第十三届全国数据库学术会议论文集[C];1995年
2 熊明;熊岚;唐常杰;;HBASE的时态查询语言和编译器[A];第十届全国数据库学术会议论文集[C];1992年
3 唐常杰;相利民;吴子华;段哓冬;杨文川;;从DBMS原型到产品的冲刺——以HBASE为例谈DBMS的优化[A];第十一届全国数据库学术会议论文集[C];1993年
4 王利强;何雪梅;唐常杰;;基于时态数据库的环球网上的数据采掘[A];数据库研究进展97——第十四届全国数据库学术会议论文集(下)[C];1997年
中国硕士学位论文全文数据库 前10条
1 邹敏昊;基于Lucene的HBase全文检索功能的设计与实现[D];南京大学;2013年
2 罗燕新;基于HBASE的列存储压缩算法的研究与实现[D];华南理工大学;2011年
3 栾洋洋;分布式数据库HBase故障恢复方法研究[D];兰州理工大学;2013年
4 李崇欣;分布式数据库HBase快照的设计与实现[D];浙江大学;2011年
5 方诗伟;基于HBase的医疗卫生数据中心构建与异构数据库同步研究[D];电子科技大学;2013年
6 康毅;HBase大对象存储方案的设计与实现[D];南京大学;2013年
7 潘博;基于Hbase、MemcacheQ技术的民政数据管理系统设计与实现[D];吉林大学;2014年
8 黄式东;架构及业务驱动的HBase测试方法研究[D];华东理工大学;2013年
9 何伟岗;基于HBase的多决策反馈式计算模型的研究与实现[D];西安电子科技大学;2012年
10 金强;基于HBase的RDF存储系统的研究与设计[D];浙江大学;2011年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026