收藏本站
《中国民用航空飞行学院》 2020年
收藏 | 手机打开
二维码
手机客户端打开本文

基于HBase的多维时间序列存储与检索技术研究

刘中祥  
【摘要】:随着科技以及经济实力的快速发展,数据的传播速度以及数据的存储量都在显著增长。由于传统的关系型数据库对数据的完整性及安全性有着一定的要求,这对系统的可用性及伸缩性有着一定影响,并导致系统的数据操作速度变慢,数据管理变得困难。这些影响在某些对实时性有要求的功能模块或者系统上是不可忽视的。同时在这几年,需要进行管理的数据的维度也在增加。比如,近年来民航的快速发展,一次航班的飞行,每时每刻都有成百上千个传感器进行数据采集。在可预见的未来,民航业内为了飞行效率以及飞行安全,还需要扩展更多的数据采集维度。这使得民航系统中对于非关系型数据库的应用变得越来越普遍。非关系型数据库HBase是一个面向列存储的分布式存储系统,相对于传统的关系型数据库而言,HBase的维度扩展方便并且提供高并发读写操作的支持。本文选择HBase存储系统作为研究对象,针对多维时序数据的特点,通过寻找一组最优的配置参数,以提升HBase的性能。本文的研究内容主要有以下几个方面:(1)HBase的配置参数筛选以及训练样本的生成。筛选有效的配置参数并采用随机策略生成一系列配置文件。使用YCSB测试工具,收集每个配置文件对应的性能数据。(2)HBase的性能预测模型构建与优化。采用随机森林算法与XGBoost分别构建吞吐量以及平均延迟四个预测模型,其中会先通过贝叶斯优化算法优化模型参数。然后将吞吐量与平均延迟模型进行加权和得到两个组合模型,对比两组合模型的误差,选择最优的模型。(3)HBase配置参数寻优。通过改进的遗传算法对HBase的性能模型进行寻优,获得模型最优解所相对应的一组最优配置参数。(4)优化前后配置参数的性能对比。通过在实际环境中测试优化前后的配置参数对HBase性能的影响,来论证本文基于HBase配置参数的性能优化的有效性。
【学位授予单位】:

知网文化
【相似文献】
中国期刊全文数据库 前16条
1 胡楠;乔林;冉冉;胡畔;;基于HBase的非关系型数据库损坏数据隔离技术[J];信息技术;2017年08期
2 王伟晨;;基于非关系型数据库HBase存储技术的检索研究[J];物联网技术;2020年01期
3 孟云侠;;基于HBase的分布式电源控制系统研究[J];电源技术;2017年09期
4 申丹丹;;一种HBase空间索引设计[J];信息与电脑(理论版);2016年08期
5 张智;龚宇;;分布式存储系统HBase关键技术研究[J];现代计算机(专业版);2014年32期
6 李正武;冯静;张登云;杨小霞;;基于HBase的区域化桥梁健康监测数据存储方法[J];中国公路;2020年02期
7 田菊飞;苏怀智;;基于随机森林算法的大坝应力预测模型的构建及其应用[J];水电能源科学;2018年05期
8 冯小萍;高俊;;分布式数据库HBase[J];信息通信;2015年07期
9 倪思颖;;HBase的物理、逻辑结构以及数据操作和适用场景探析[J];信息与电脑(理论版);2016年01期
10 陆君之;;基于随机森林回归算法的电影评分预测模型[J];江苏通信;2018年01期
11 仇伟涛;范家铭;李丹;;一种基于HBase的高效半结构化数据查询策略[J];福建电脑;2014年11期
12 温师伟;黄文军;王完英;;基于HBase的电子商务系统设计[J];数字技术与应用;2014年02期
13 李攀宇;贾宏;;基于HBase的交通数据时空分块索引[J];信息技术;2019年12期
14 王红;孙康;;基于HBase的领域本体存储方法及其应用研究[J];计算机工程与科学;2016年07期
15 杜晓东;;大数据环境下基于Hbase的分布式查询优化研究[J];计算机光盘软件与应用;2014年08期
16 单文煜;吴垠;陈鹏;;基于机器学习的机票价格预测研究[J];现代计算机;2020年22期
中国重要会议论文全文数据库 前10条
1 刘俊;田胜;黄亮;孙乔;李亚辉;;基于Hadoop及HBase的海量船舶数据存储技术研究[A];2019第七届中国指挥控制大会论文集[C];2019年
2 谢忠局;王琳璘;王琦;陈永权;;基于随机森林的电力企业现金流预测模型研究[A];第二届智能电网会议论文集[C];2018年
3 张淑霞;聂曼影;晏杰;;基于非关系型数据库的电子档案存储研究[A];2019年海峡两岸档案暨缩微学术交流会论文集[C];2019年
4 赵青;龚昊;;NoSQL推动新闻业务发展的应用研究[A];中国新闻技术工作者联合会2011年学术年会论文集(上篇)[C];2011年
5 仝晓哲;赵黎晨;王佳明;;随机森林回归在大坝变形预测中的应用研究[A];2019年江苏省测绘地理信息学会学术年会论文集[C];2019年
6 李玉洲;唐守伟;刘清亮;徐雷;王立峰;潘爱兵;于秋红;;基于随机森林的脱硫优化系统入口SO2浓度预测研究[A];全国第四届“智能电网”会议论文集[C];2019年
7 万成浩;郭彪;郭芝宏;张楠;;基于随机森林模型的系统级试验数据分析[A];2019中国系统仿真与虚拟现实技术高层论坛论文集[C];2019年
8 刘洪栓;杜文凤;;利用随机森林从地震属性中进行岩性预测的特征重要性测度研究[A];2019年中国地球科学联合学术年会论文集(二十三)——专题58:深地资源地震波勘探理论、方法进展、专题59:煤炭资源与矿山地球物理 、专题60:智能仪器技术及其在地学探测中的应用[C];2019年
9 尤东方;赵杨;;存在混杂时高维数据的随机森林分析[A];2017年中国卫生统计学学术年会论文集[C];2017年
10 张涛;李贞子;武晓岩;李康;;随机森林回归分析方法及在代谢组学中的应用[A];2011年中国卫生统计学年会会议论文集[C];2011年
中国重要报纸全文数据库 前10条
1 汪一峰;保险业如何应对大数据挑战(下)[N];中国保险报;2017年
2 InterSystems大中国区技术总监 余衡;突破关系型数据库极限[N];中国计算机报;2005年
3 范范;NoSQL正在替代关系型数据库[N];网络世界;2011年
4 《网络世界》记者 于翔;NoSQL:大数据浪潮中崛起[N];网络世界;2012年
5 罗琼;“后”来居上[N];中国计算机报;2006年
6 本报记者 周蓉蓉;后关系型数据库拓展生存空间[N];计算机世界;2005年
7 本报记者 谌力;DB29颠覆关系型数据库?[N];网络世界;2006年
8 朱杰;后关系型数据库=XML+关系型?[N];中国计算机报;2007年
9 范范 编译;ScaleBase解决云端关系型数据库快速扩容问题[N];网络世界;2014年
10 逸凡;如何正确理解CAP理论?[N];网络世界;2014年
中国博士学位论文全文数据库 前10条
1 王晓军;基于大数据的风洞马赫数集成建模方法的研究[D];东北大学;2016年
2 王鑫;基于随机森林的认知网络频谱感知算法研究[D];东北大学;2016年
3 杨居衡;多相体系蜡析出计算模型研究[D];中国石油大学(北京);2018年
4 高山砚;妊娠期糖尿病危险因素研究与预测模型构建[D];中国医科大学;2019年
5 邓婉玲;基于影像组学的子宫内膜癌淋巴结转移术前预测模型的研究[D];北京协和医学院;2019年
6 邓宇珺;联合血胱抑素C和尿NAG酶预测重症患者急性肾损伤及构建风险预测模型[D];南方医科大学;2019年
7 李润航;基于瘤胃优势菌群及饲料组分建立绵羊甲烷产量预测模型的研究[D];吉林农业大学;2017年
8 董樑;前列腺癌术后尿失禁的危险因素分析及预测模型建立[D];上海交通大学;2016年
9 李金金;天津市慢性病队列研究及风险预测模型的建立[D];天津医科大学;2018年
10 陈玲;孕期及产后压力性尿失禁风险预测模型的构建、验证及应用[D];南方医科大学;2018年
中国硕士学位论文全文数据库 前10条
1 刘中祥;基于HBase的多维时间序列存储与检索技术研究[D];中国民用航空飞行学院;2020年
2 孙康;基于HBase的领域本体存储与查询方法研究[D];中国民航大学;2016年
3 谭玉龙;基于HBase的多维索引查询机制的优化研究[D];郑州大学;2019年
4 苏旭博;基于HBase的交通大数据查询优化研究[D];兰州交通大学;2018年
5 祝琳莹;基于HBase与多级格网索引的地表覆盖数据存储与检索研究[D];浙江大学;2018年
6 于方;基于HBase的时空索引模型与检索方法研究[D];武汉理工大学;2016年
7 王立;一种改进的朴素贝叶斯分类器在HBase压缩存储上的研究与应用[D];华中科技大学;2018年
8 达呼;基于HBase的工业云系统架构研究[D];北方工业大学;2018年
9 李美瑶;基于HBase的报表管理系统的设计与实现[D];西安电子科技大学;2016年
10 李崇欣;分布式数据库HBase快照的设计与实现[D];浙江大学;2011年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978