收藏本站
《北京邮电大学》 2013年
收藏 | 手机打开
二维码
手机客户端打开本文

基于HBase的海量数据实时查询系统设计与实现

卓海艺  
【摘要】:海量数据的存储和查询是近年来业界的研究热点之一。传统的关系数据库由于可扩展性和处理性能的限制无法满足其要求。新兴的NoSQL数据库具有良好的可扩展性,但不支持SQL和二级索引等传统数据库特性。因此包含NoSQL高可扩展性,同时具有传统数据库特性的NewSQL更适合海量数据的存储和查询。 本文在NoSQL数据库HBase的基础上,设计并实现一个能够满足海量数据实时查询需求的NewSQL系统。它保持原系统的可用性可扩展性、容错性等特性,并且支持SQL语言,易于使用,支持二级索引功能,可用于数据的实时查询。用户输入的SQL语句先经过SQL命令解析器解析,再通过Schema转化器把输入字段转化为HBase的列族和限定符,然后使用查询规划器对不同类型SQL语句的处理流程进行规划,最后完成规划的处理流程。本文使用JSQLParser作为SQL命令解析器,通过规格化字段格式完成Schema转化,利用MapReduce(?)匡架实现数据库迁移和备份。为了提高查询效率,本文使用已有Coprocssor组件完成集合函数查询功能和属性条件删除功能,并基于Coprocessor框架开发了属性条件更新组件及用于实时生成索引的组件。同时为了保证索引数据的最终一致性,本文还提供了基于MapReduce框架的索引生成组件,用于线下生成索引。 最后,本文搭建实验系统完成性能测试,并与Hive+HBase系统进行性能比较。通过实验数据得出,本文构建的新系统能够支持SQL语句和二级索引功能,提供良好的性能及可扩展性,实现海量数据实时查询。
【学位授予单位】:北京邮电大学
【学位级别】:硕士
【学位授予年份】:2013
【分类号】:TP311.13

【参考文献】
中国期刊全文数据库 前4条
1 王珊;王会举;覃雄派;周烜;;架构大数据:挑战、现状与展望[J];计算机学报;2011年10期
2 李国杰;程学旗;;大数据研究:未来科技及经济社会发展的重大战略领域——大数据的研究现状与科学思考[J];中国科学院院刊;2012年06期
3 卢冬海;何先波;;浅析NoSQL数据库[J];中国西部科技;2011年02期
4 卢益阳;;NoSQL数据管理系统综述[J];企业科技与发展;2011年17期
【共引文献】
中国期刊全文数据库 前10条
1 李彬;张英伟;;NoSQL非关系型数据库负载均衡的实现[J];电脑知识与技术;2012年06期
2 杜玉辉;蒋姣丽;;大数据背景:高速公路收费系统数据的现状、分析与展望[J];电脑知识与技术;2012年15期
3 李满意;;大数据安全[J];保密科学技术;2012年09期
4 黄晓斌;钟辉新;;大数据时代企业竞争情报研究的创新与发展[J];图书与情报;2012年06期
5 李冯筱;罗高松;;NoSQL理论体系及应用[J];电信科学;2012年12期
6 成静静;喻朝新;;基于云计算的大数据统一分析平台研究与设计[J];广东通信技术;2013年01期
7 陈云海;黄兰秋;;大数据处理对电子商务的影响研究[J];电信科学;2013年03期
8 孙玉玲;;大数据时代数字出版产业的发展趋势[J];出版发行研究;2013年04期
9 王伟;;大数据分析——RDBMS与MapReduce的竞争与共生漫谈[J];计算机光盘软件与应用;2013年07期
10 王文超;石海明;曾华锋;;刍议大数据时代的国家信息安全[J];国防科技;2013年02期
中国重要会议论文全文数据库 前8条
1 蔡津津;郜新鑫;付建俐;;基于业务元数据标准化的金融财经数据仓库及服务系统架构探讨[A];中国新闻技术工作者联合会2012年学术年会、五届四次理事会暨第六届“王选新闻科学技术奖”的“人才奖”和“优秀论文奖”颁奖大会论文集[C];2012年
2 周为钢;杨良怀;潘建;郑申俊;沈贝伦;沈俊青;;论智能交通大数据处理平台之构建[A];第八届中国智能交通年会论文集[C];2013年
3 谭胜淋;陈曦;;大数据的标准化研究[A];市场践行标准化——第十一届中国标准化论坛论文集[C];2014年
4 包磊;罗兵;孙越林;;大数据时代的态势评估技术思考[A];2014第二届中国指挥控制大会论文集(下)[C];2014年
5 尹素格;王健;张桂刚;杨宏斌;王世军;;大数据技术在精确空投系统中的应用[A];2014第二届中国指挥控制大会论文集(下)[C];2014年
6 刘春琳;冷红;;基于大数据挖掘的城市关注平台的构建与应用[A];城乡治理与规划改革——2014中国城市规划年会论文集(04城市规划新技术应用)[C];2014年
7 李鹏飞;;大数据时代中国期刊的发展机遇与探索创新[A];第十二届2014全国核心期刊与期刊国际化、网络化研讨会论文集[C];2014年
8 孙圣力;郑志高;王平;刘京;;RTDP系统网络体系结构及其关键技术[A];2013年全国通信软件学术会议论文集[C];2013年
中国博士学位论文全文数据库 前10条
1 黄兰秋;基于云计算的企业竞争情报服务模式研究[D];南开大学;2012年
2 何文娜;大数据时代基于物联网和云计算的地质信息化研究[D];吉林大学;2013年
3 王锋;基于粒化机理的粗糙特征选择高效算法研究[D];山西大学;2013年
4 刘灿由;电子海图云服务关键技术研究与实践[D];解放军信息工程大学;2013年
5 韩晶;大数据服务若干关键技术研究[D];北京邮电大学;2013年
6 李韧;基于Hadoop的大规模语义Web本体数据查询与推理关键技术研究[D];重庆大学;2013年
7 韩海雯;MapReduce计算任务调度的资源配置优化研究[D];华南理工大学;2013年
8 楼巍;面向大数据的高维数据挖掘技术研究[D];上海大学;2013年
9 刘兵;基于聚类与流形正则化的分类方法研究[D];中国矿业大学;2013年
10 张金松;基于引文上下文分析的文献检索技术研究[D];大连海事大学;2013年
中国硕士学位论文全文数据库 前10条
1 翟永超;品牌服装企划系统中的产品预测系统架构设计[D];东华大学;2012年
2 沈姝;NoSQL数据库技术及其应用研究[D];南京信息工程大学;2012年
3 张国荣;基于关系型与非关系型数据库的电子表单系统设计与实现[D];中山大学;2012年
4 莫志强;手机浏览器云服务的研究与实现[D];中山大学;2012年
5 周国豪;微博网站的设计与实现[D];华南理工大学;2012年
6 周俊;基于头型冲击器的行人头部保护研究及其局限性探讨[D];湖南大学;2012年
7 何伟岗;基于HBase的多决策反馈式计算模型的研究与实现[D];西安电子科技大学;2012年
8 熊良;支持语义关联的组合服务选择机制研究[D];南京邮电大学;2013年
9 卓安;基于P2P可伸缩架构的大数据分析平台研究与实现[D];清华大学;2012年
10 朱国龙;基于SNMP的MAU网管系统数据库的设计与实现[D];华中科技大学;2012年
【二级参考文献】
中国期刊全文数据库 前4条
1 黄贤立;;NoSQL非关系型数据库的发展及应用初探[J];福建电脑;2010年07期
2 杨卫华;;一切为了分布式——2009年Web后端技术回顾[J];程序员;2010年02期
3 范凯;;NoSQL数据库综述[J];程序员;2010年06期
4 潘凡;;从MySQL到MongoDB——视觉中国的NoSQL之路[J];程序员;2010年06期
【相似文献】
中国期刊全文数据库 前10条
1 张丽君,陈平雁,李华才,柴军英,李红梅;平战兼容的卫勤信息实时查询系统设计与应用[J];华北国防医药;2004年02期
2 于彦伟;王沁;王小东;王欢;何杰;;面向实时查询处理的轨迹流挖掘框架[J];仪器仪表学报;2012年12期
3 朱耀庭,宋洪生,高键;网络财务系统的远程实时查询[J];南开大学学报(自然科学版);1997年03期
4 唐云;一个自我服务的银行客户联机实时查询对帐系统的设计[J];中国金融电脑;1995年01期
5 安娜;张征;;智能公交移动平台实时查询客户端[J];计算机系统应用;2014年03期
6 刘同波;邱明辉;薛万国;;基于Web的门诊实时查询系统的设计与实现[J];中国医疗设备;2008年04期
7 郭萍;;借助QQ阅读完成实时查询[J];电脑迷;2013年03期
8 程玉昆;如何在.PB中对数据进行实时查询[J];电脑编程技巧与维护;2003年02期
9 刘文利;田海清;;生产数据在OA系统中实时查询的开发应用[J];包钢科技;2009年S2期
10 王锐;陈丽;;适用于实时查询的电信行业海量数据仓库构建方法[J];电信科学;2011年10期
中国重要报纸全文数据库 前10条
1 记者 路熙娜;“手机公交”实时查询线路“扩容”[N];滨海时报;2014年
2 ;江西:车险承保理赔可实时查询[N];中国保险报;2011年
3 记者 李丹丹 陈恒才 通讯员 万蓉;手机可实时查询企业情况[N];中山日报;2011年
4 张海峰;电子商务助力波音空客实时查询[N];中国航空报;2010年
5 金华;浦江村务财务实现网上公开[N];中国纪检监察报;2006年
6 记者  向杰;我数十万个海洋剖面数据可实时查询[N];科技日报;2006年
7 记者  刘乃科;速递邮件实时查询系统上线[N];中国邮政报;2006年
8 本报通讯员 鄢玉荣;破解阵风困扰深圳港区难题[N];中国气象报;2014年
9 VAR记者 张林才;达美:为技术而生[N];电脑商报;2011年
10 记者 李仕欣 特约记者 张力洋 通讯员 孙飞;一机在手 实时查询[N];人民公安报;2004年
中国硕士学位论文全文数据库 前4条
1 曹芳芳;基于海量数据的实时查询处理[D];武汉理工大学;2013年
2 史琳;基于RFID技术的铁路集装箱实时查询系统的研究与实现[D];北京交通大学;2008年
3 卓海艺;基于HBase的海量数据实时查询系统设计与实现[D];北京邮电大学;2013年
4 林明;基于WEB的气象信息发布和实时查询平台的设计与实现[D];电子科技大学;2013年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026