收藏本站
《中国科学技术大学》 2020年
收藏 | 手机打开
二维码
手机客户端打开本文

基于HBase的HLS-Ⅱ数据存档与检索系统设计与开发

辛尚聪  
【摘要】:HLS-Ⅱ(Hefei Light Source-Ⅱ)是以真空紫外和软X射线为主的专用同步辐射光源,其运行过程中会产生大量的历史数据,历史数据的查询速度对于性能分析和故障诊断至关重要。目前,这些历史数据存储在Oracle关系型数据库中。随着存储的历史数据量越来越大,海量数据的存储和处理成为数据查询速度和数据性能分析的瓶颈。现有的HLS-Ⅱ历史数据查询系统是基于Oracle的网页应用系统,在查询时间跨度较大的历史数据时,由于数据量很大,响应时间较长,用户体验有待改进。在调研了国内外加速器装置的历史数据存档和检索系统现状之后,设计并开发了基于HBase的数据存档与检索系统(HBase-base Data Archiving and Retrieving System,HDARS)以满足海量历史数据的存储需求和提高历史数据的检索速度。在数据存储方面,HDARS通过搭建数百TB级Hadoop数据存储平台,使用HBase分布式数据库进行历史数据的存储,相比于Oracle数据存储,提高了海量数据的检索性能、数据存储的可靠性和可扩展性。在数据查询速度方面,HDARS从数据存档和数据检索两个方面来提高性能。在数据存档中,采用Archiver Appli-ance 作为数据存档软件,开发 HBase 数据存储插件实现数据由 Archiver Appliance短期存储向HBase迁移。为了解决大时间跨度的数据查询速度不足,HDARS设计了一个数据抽取算法,以不同的时间粒度抽取原始数据中的特征数据,原始数据和特征数据分别存入到HBase的原始数据表和冗余数据表中;在数据检索中,查询大时间跨度的历史数据时,将根据查询数据的时间范围来计算合适的时间粒度,从冗余数据表中检索并返回相应粒度的特征数据。此外,使用当下比较流行的Web技术开发了 HDARS的网页应用,实现了历史数据可视化、系统访问权限管理和Archiver Appliance的管理。在HDARS的设计中,以较小的冗余存储空间为代价来解决大时间跨度的数据检索速度问题。HDARS自2020年1月开始测试以来,性能稳定,可以在1秒内响应任意时间范围的查询请求,完全满足了用户对HLS-Ⅱ历史数据查询的性能需求。
【学位授予单位】:

知网文化
【相似文献】
中国期刊全文数据库 前18条
1 辛尚聪;孙晓康;李川;宣科;刘功发;;基于HBase的HLS-Ⅱ数据存档与检索系统开发[J];核技术;2020年07期
2 李正武;冯静;张登云;杨小霞;;基于HBase的区域化桥梁健康监测数据存储方法[J];中国公路;2020年02期
3 张浩盛;贺光辉;李龙;王谦;;基于HLS实现的小步长电磁暂态仿真系统[J];信息技术;2017年10期
4 孟云侠;;基于HBase的分布式电源控制系统研究[J];电源技术;2017年09期
5 冯小萍;高俊;;分布式数据库HBase[J];信息通信;2015年07期
6 申丹丹;;一种HBase空间索引设计[J];信息与电脑(理论版);2016年08期
7 张智;龚宇;;分布式存储系统HBase关键技术研究[J];现代计算机(专业版);2014年32期
8 仇伟涛;范家铭;李丹;;一种基于HBase的高效半结构化数据查询策略[J];福建电脑;2014年11期
9 温师伟;黄文军;王完英;;基于HBase的电子商务系统设计[J];数字技术与应用;2014年02期
10 王红;孙康;;基于HBase的领域本体存储方法及其应用研究[J];计算机工程与科学;2016年07期
11 杜晓东;;大数据环境下基于Hbase的分布式查询优化研究[J];计算机光盘软件与应用;2014年08期
12 王琳;王相綦;尚雷;樊宽军;徐洪亮;赵枫;;HLS储存环注入系统冲击磁铁电磁特性一致性研究[J];电子测量技术;2000年04期
13 倪思颖;;HBase的物理、逻辑结构以及数据操作和适用场景探析[J];信息与电脑(理论版);2016年01期
14 王琳,樊宽军,尚雷,徐宏亮,王相綦;HLS储存环注入系统冲击磁铁微秒脉冲磁场设计计算[J];核技术;2003年02期
15 尚雷,罗雪芳,王炜,洪钧,陆业明,张毅,赵枫;HLS直线加速器调制器系统设计与改造(英文)[J];高能物理与核物理;2003年12期
16 王琳,王相綦,樊宽军,尚雷,裴元吉,徐宏亮,赵义恒;HLS储存环冲击磁铁铁芯材料特性和磁场研究[J];核技术;2000年03期
17 李攀宇;贾宏;;基于HBase的交通数据时空分块索引[J];信息技术;2019年12期
18 陈波;;基于HBASE分布式存储的通用海量日志系统设计方法研究[J];信息通信;2017年06期
中国重要会议论文全文数据库 前10条
1 刘俊;田胜;黄亮;孙乔;李亚辉;;基于Hadoop及HBase的海量船舶数据存储技术研究[A];2019第七届中国指挥控制大会论文集[C];2019年
2 刘功发;李为民;李京祎;李川;谢东;鲍循;宣科;王季刚;陈莉萍;;EPICS和HLS控制系统升级[A];粒子加速器学会第七届全国会员代表大会暨学术报告会文集[C];2004年
3 熊明;熊岚;唐常杰;;HBASE的时态查询语言和编译器[A];第十届全国数据库学术会议论文集[C];1992年
4 宋春颖;;基于混合型数据的智能化检索系统[A];第三十四届中国(天津)2020’IT、网络、信息技术、电子、仪器仪表创新学术会议论文集[C];2020年
5 杨光复;;论年鉴的检索系统和信息开发[A];创新与发展——云南省年鉴论文选(续集)[C];2006年
6 刘超彪;宋鸿陟;司国东;傅熠;;应用于移动学习的树木检索系统[A];第八届和谐人机环境联合学术会议(HHME2012)论文集CHCI[C];2012年
7 张刚;孙健;丁国栋;米嘉;王斌;;海量数据的索引与检索系统[A];全国网络与信息安全技术研讨会’2004论文集[C];2004年
8 顾寄南;陈晓燕;;检索系统专业化和智能化的研究与实现[A];走中国特色农业机械化道路——中国农业机械学会2008年学术年会论文集(下册)[C];2008年
9 许洁萍;袁斌;刘怡;;音乐检索系统中用户哼唱旋律错误的研究[A];第二届和谐人机环境联合学术会议(HHME2006)——第15届中国多媒体学术会议(NCMT'06)论文集[C];2006年
10 聂竹青;陈智明;陈义明;;基于HBase的房地产估价大数据整合策略[A];挑战与展望——大数据时代房地产估价和经纪行业发展论文集[C];2013年
中国重要报纸全文数据库 前10条
1 杨申武;工程建设标准强制性条文检索系统即将开通运行[N];中国建设报;2012年
2 曲征 山东省济南市长清第五中学教师;名言检索系统让“伪名言”无所遁形[N];语言文字报;2019年
3 艾文;让检索系统更人性化[N];中国计算机报;2004年
4 陈玉荣;更多、更快、更新的检索系统[N];中国企业报;2000年
5 记者 侯梅竹;汉语语料检索系统问世[N];计算机世界;2004年
6 徐枫宦茂盛;元数据检索按图索骥[N];计算机世界;2007年
7 郑彩霞 山西日报报业集团;党报应挖掘并发挥历史数据资产价值[N];中国新闻出版广电报;2019年
8 赵子强;持币持股不纠结 历史数据持股胜算近八成[N];证券日报;2017年
9 秦倪;智能理财能走多远[N];经济日报;2017年
10 记者 陈姝;旗舰仓日均可发货百万件[N];深圳商报;2017年
中国博士学位论文全文数据库 前10条
1 邹俊颖;HLS Ⅱ注入器束流位置测量系统的研制及应用研究[D];中国科学技术大学;2014年
2 刘超;HLS满能量注入研究及新型冲击磁铁脉冲发生器研制[D];中国科学技术大学;2008年
3 马天骥;HLS Ⅱ储存环束流位置测量系统的研制及相关研究[D];中国科学技术大学;2013年
4 唐雷雷;HLS Ⅱ束流横向截面测量系统的研制及相关研究[D];中国科学技术大学;2013年
5 程超才;HLS Ⅱ储存环中快速束团横向尺寸和位置测量系统的研制及初步应用研究[D];中国科学技术大学;2016年
6 唐凯;HLSⅡ基于光学的测量系统及其相关研究[D];中国科学技术大学;2016年
7 黄贵荣;HLS储存环束流负载效应和高频系统相关问题的研究[D];中国科学技术大学;2007年
8 王君泽;基于大规模问答语料的问题检索系统[D];华中科技大学;2010年
9 宣科;HLS-Ⅱ基于物理量控制系统及相关应用研究[D];中国科学技术大学;2015年
10 申世群;定性空间推理及其在空间数据检索中的应用研究[D];吉林大学;2011年
中国硕士学位论文全文数据库 前10条
1 辛尚聪;基于HBase的HLS-Ⅱ数据存档与检索系统设计与开发[D];中国科学技术大学;2020年
2 谭玉龙;基于HBase的多维索引查询机制的优化研究[D];郑州大学;2019年
3 苏旭博;基于HBase的交通大数据查询优化研究[D];兰州交通大学;2018年
4 祝琳莹;基于HBase与多级格网索引的地表覆盖数据存储与检索研究[D];浙江大学;2018年
5 于方;基于HBase的时空索引模型与检索方法研究[D];武汉理工大学;2016年
6 王立;一种改进的朴素贝叶斯分类器在HBase压缩存储上的研究与应用[D];华中科技大学;2018年
7 达呼;基于HBase的工业云系统架构研究[D];北方工业大学;2018年
8 李美瑶;基于HBase的报表管理系统的设计与实现[D];西安电子科技大学;2016年
9 张闻哲;HLS公司工程合同管理研究[D];大连理工大学;2017年
10 李崇欣;分布式数据库HBase快照的设计与实现[D];浙江大学;2011年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978