收藏本站
《华中科技大学》 2012年
收藏 | 手机打开
二维码
手机客户端打开本文

海量历史数据库系统研究

王章  
【摘要】:随着社会经济发展的加快,国家对社会生产的各个方面均提出了长远的发展规划。在工业领域中,政府提出了加快信息化与工业化融合的目标,希望利用高速发展的信息技术促进我国基础行业可持续发展。实时数据库作为电力、通信、工业控制等领域主要的信息化技术被广泛运用。经济的发展促进了企业生产规模的增长,企业所需要管理的数据规模也随之水涨船高。 信息数据量的增长给实时历史数据库的数据存储管理能力和数据访问能力提出了更高要求。在实时信息采集和监控过程中,实时历史数据库每天需要处理亿万级的数据,并且数据量随时间推移也在持续增长。面对庞大的数据量,实时历史数据库迫切需要解决数据处理与存储的问题,一方面保证数据处理实时性,另一方面又需要为海量数据存储提供弹性增长空间。对海量历史数据进行良好支持是当前实时历史数据库研究的主要技术方向,已有的大数据存储方案如分布式数据库和集群不能很好的满足历史数据的存储要求,本文在分析当前云计算技术为大数据处理提供的基本方法之上,设计了一套基于Hadoop平台的海量历史数据库系统。针对该海量历史数据库系统实现过程中需要解决的三个问题:数据分布存储、数据索引、数据并行查询,本文分析比较了当前的解决办法,包括理论研究十分成熟的分布式数据存储和分布式索引技术,以及在云计算框架下存储数据、建立索引和数据查询的研究成果。结合各项技术的可取之处,再根据历史数据处理的特殊应用场景,本文给出了三个关键技术点的解决方案。将历史数据进行分块存储,并建立查找数据测量点历史数据的多级索引结构,该结构适应底层分布式文件系统动态变化,最后依据该索引信息对实时历史数据查询事务进行优化调度,给出了具有时间截止期事务的调度策略。 在解决关键技术点的基础上,本文给出海量历史数据库系统的总体设计结构。对组成完整系统所需的其他模块:元数据管理、数据采集、数据存储、索引管理以及事务管理等进行具体设计分析,进一步明确了海量历史数据库系统的功能组成与系统组织。
【学位授予单位】:华中科技大学
【学位级别】:硕士
【学位授予年份】:2012
【分类号】:TP311.13

【参考文献】
中国期刊全文数据库 前6条
1 王保云;;物联网技术研究综述[J];电子测量与仪器学报;2009年12期
2 李永峰;生产类企业信息化的基础——实时数据库[J];数字化工;2004年08期
3 刘鹏;曹红;;环境监测信息化思考[J];环境保护科学;2010年03期
4 陈全;邓倩妮;;云计算及其关键技术[J];计算机应用;2009年09期
5 陈康;郑纬民;;云计算:系统实例与研究现状[J];软件学报;2009年05期
6 刘吉臻,房方,牛玉广;电力企业中的实时数据库技术[J];中国电力;2004年02期
中国硕士学位论文全文数据库 前1条
1 施岩;云计算研究及Hadoop应用程序的开发与测试[D];北京邮电大学;2011年
【共引文献】
中国期刊全文数据库 前10条
1 郑金鹏;倪慧荟;李季梅;张斌;;RFID技术在公共场所应急疏散中的适用性研究[J];安全;2012年05期
2 毕海波 ,刘萍;分布式城市电磁环境数据库系统的设计与实现[J];安全与电磁兼容;2005年05期
3 魏东泽;来学嘉;;一种安全的高可靠性P2P云存储备份模型初探参考文献[J];信息安全与技术;2011年09期
4 杨振贤;;基于云计算的安全数据存储研究与设计[J];信息安全与技术;2011年10期
5 赵凯;;基于云存储的医院PACS系统存储设计[J];信息安全与技术;2012年04期
6 王继鹏;;高等教育云计算服务平台构建策略初探[J];安阳师范学院学报;2011年05期
7 张帆;;基于物联网的智慧校园建设方案探索[J];安阳工学院学报;2012年02期
8 任小龙;杨倩;;基层站信息化能力提升制约因素分析与应对策略[J];环境科学与管理;2012年04期
9 刘真;刘峰;张宝鹏;马飞;高石玉;;云计算模型在铁路大规模数据处理中的应用[J];北京交通大学学报;2010年05期
10 薛洲恩;李进豪;蔡进;宋金龙;沈曙红;刘伦舫;;职业技术院校选课管理系统的研究与实现[J];北京工业职业技术学院学报;2005年04期
中国重要会议论文全文数据库 前10条
1 万丹丹;王宏;;云计算在编辑工作中的应用探讨[A];学术期刊编辑学理论与实践[C];2010年
2 钟勇;;物联网在气象灾害预警中的应用[A];四川省通信学会2011年学术年会论文集[C];2011年
3 郭捷夫;;基于云计算模型的绿色IT数据中心构建方案研究[A];2011年通信与信息技术新进展——第八届中国通信学会学术年会论文集[C];2011年
4 汪云凤;李心科;;云服务环境下的服务聚合方法研究[A];2011中国仪器仪表与测控技术大会论文集[C];2011年
5 安聪;毛军文;;实验室信息管理系统(LIMS)的发展现状及趋势分析[A];2011第三届全国医学科研管理论坛暨江苏省医学科研管理学术年会论文汇编[C];2011年
6 秦妍;贾秋霞;刘艳;陈娅;董艳;;2005-2009年北京市有限空间事故分析研究[A];中国职业安全健康协会2010年学术年会论文集[C];2010年
7 张白兰;杨向红;李家龙;刘伟;林创燕;邱正能;;物联网综述[A];中国电子学会第十七届信息论学术年会论文集[C];2010年
8 郭英鹏;;云计算环境下的数据中心网络发展初探[A];广东通信2010青年论坛优秀论文集[C];2010年
9 杨小英;张华;;物联网技术与应用研究[A];广东通信2010青年论坛优秀论文集[C];2010年
10 任伟;叶敏;刘宇靓;;云安全的信任管理研究[A];全国计算机安全学术交流会论文集·第二十五卷[C];2010年
中国博士学位论文全文数据库 前10条
1 吴吉义;基于DHT的开放对等云存储服务系统研究[D];浙江大学;2011年
2 王铁军;非结构化对等网络资源定位技术研究[D];电子科技大学;2010年
3 江颉;面向电子服务的访问控制关键技术研究[D];浙江大学;2010年
4 张泽华;云计算联盟建模及实现的关键技术研究[D];云南大学;2010年
5 肖伟;无线传感器网络自适应数据容错关键技术研究[D];国防科学技术大学;2010年
6 李俊超;面向服务的云会议系统架构及其关键技术研究[D];中国科学技术大学;2011年
7 李铮;多媒体云计算平台关键技术研究[D];中国科学技术大学;2011年
8 康俊锋;云计算环境下高分辨率遥感影像存储与高效管理技术研究[D];浙江大学;2011年
9 包欢;大型建筑物实时形变监测系统理论及应用研究[D];解放军信息工程大学;2009年
10 林云;汽车物流服务供应链体系构建与应用研究[D];重庆大学;2011年
中国硕士学位论文全文数据库 前10条
1 宋洪俊;基于OPC的实时数据库接口设计与实现[D];山东科技大学;2010年
2 于皓;面向主题的物联网安全模型设计与研究[D];山东科技大学;2010年
3 陈珂;基于ArcGIS Server济南城市雨情WebGIS系统的设计与开发[D];山东科技大学;2010年
4 裴国庆;基于语义的异构数据库集成研究[D];广西师范学院;2010年
5 孔楠;基于云计算平台的商业服务模式研究[D];上海外国语大学;2010年
6 康兴元;面向模具企业的注塑模设计知识网络化管理系统研究[D];大连理工大学;2010年
7 姜健;云计算在企业物资供应系统的应用研究[D];辽宁工程技术大学;2009年
8 薛师;云计算与网格计算的比较研究[D];河南理工大学;2010年
9 刘震宇;基于VMware vSphere4.0的PC服务器资源池构建[D];大连海事大学;2010年
10 于波;分布式并行空间索引机制的研究[D];哈尔滨理工大学;2010年
【二级参考文献】
中国期刊全文数据库 前10条
1 王合生;;环境监测信息化建设分析——走中国式环境监测信息化建设道路[J];环境监测管理与技术;2006年05期
2 杨庆,王堃,王宏安,戴国忠;企业级工控实时数据库研究与实现[J];计算机工程与应用;2001年13期
3 杨庆 ,戴国忠 ,叶志宝 ,王宏安;流程工业CIMS中的实时数据库技术[J];计算机工程与应用;2001年14期
4 郑欣杰;朱程荣;熊齐邦;;基于MapReduce的分布式光线跟踪的设计与实现[J];计算机工程;2007年22期
5 栾亚建;黄翀民;龚高晟;赵铁柱;;Hadoop平台的性能优化研究[J];计算机工程;2010年14期
6 刘志峰;张宏海;王建华;杨文通;吴喜文;;基于RFID技术的EPC全球网络的构建[J];计算机应用;2005年S1期
7 王凯;吴泉源;杨树强;;一种多用户MapReduce集群的作业调度算法的设计与实现[J];计算机与现代化;2010年10期
8 齐虎春;;云计算从概念到应用的研究[J];内蒙古科技与经济;2010年15期
9 许春玲;张广泉;;分布式文件系统Hadoop HDFS与传统文件系统Linux FS的比较与分析[J];苏州大学学报(工科版);2010年04期
10 孙广中;肖锋;熊曦;;MapReduce模型的调度及容错机制研究[J];微电子学与计算机;2007年09期
中国重要报纸全文数据库 前1条
1 中国科学院计算所 李国杰;[N];计算机世界;2001年
【相似文献】
中国期刊全文数据库 前10条
1 程惟宁;数据库系统[J];自然杂志;1981年04期
2 姚诗斌;;前言[J];计算机工程与应用;1981年Z2期
3 任世勇;王在平;;我国文献检索刊物的数据库化研究[J];情报科学;1993年05期
4 亢临生;米丽萍;张秀玲;;规范化理论及其应用[J];山西大学学报(自然科学版);1993年02期
5 丁德恒;;大规模数据库中的知识获取[J];计算机科学;1994年05期
6 唐世渭;;数据库系统的昨天、今天、和明天[J];计算机世界;1994年02期
7 阳国贵;;从SQL-92到SQL:1999[J];计算机科学;2000年09期
8 刘云生,夏家莉,许贵平;嵌入式数据库系统的事务调度[J];软件学报;2002年08期
9 黄志国,韩慧莲;基于安全审计的数据库安全[J];科技情报开发与经济;2005年12期
10 胡健;高职教育数据库教学中几个问题的探析[J];内蒙古石油化工;2005年08期
中国重要会议论文全文数据库 前10条
1 马玉书;李国和;龚平;江伟峰;;用面向对象环境开发知识库/数据库系统[A];第十一届全国数据库学术会议论文集[C];1993年
2 吕新宇;彭成宝;张霞;;移动计算环境下的数据库系统OpenBASE Mini[A];第十七届全国数据库学术会议论文集(研究报告篇)[C];2000年
3 张丽;;从IMAGE到ORACLE数据库系统转换工具的设计与实现[A];第十届全国数据库学术会议论文集[C];1992年
4 李敏;费丽娟;胡金柱;;数据库系统中大事务处理问题的研究[A];第二十届全国数据库学术会议论文集(技术报告篇)[C];2003年
5 赵加奎;陈立军;杨冬青;唐世渭;;SQLDBA——基于数据流系统Argus的数据库系统性能实时监控工具[A];第二十一届中国数据库学术会议论文集(研究报告篇)[C];2004年
6 张霞;郑怀远;;面向对象和语义关联数据库系统的用户友好接口[A];第九届全国数据库学术会议论文集(上)[C];1990年
7 赵莉莉;王引斌;;浅谈数据库系统的发展[A];山西省科技情报学会2004年学术年会论文集[C];2005年
8 张慧斌;袁晓洁;王鑫;汪陈应;刘芳;;XBackend:一种Native XML数据库系统的后端实现策略[A];第二十四届中国数据库学术会议论文集(研究报告篇)[C];2007年
9 高国弘;郭立新;范彦芳;李香芳;;多类型数据库系统环境下气象信息分布式共享技术研究[A];2011年中国气象学会气象通信与信息技术委员会暨国家气象信息中心科技年会论文摘要[C];2011年
10 周杰;黄兵;董辉;沈杰;;中国畜禽寄生虫虫种数据库的建立[A];中国畜牧兽医学会家畜寄生虫学分会第九次学术研讨会论文摘要集[C];2006年
中国重要报纸全文数据库 前10条
1 FN 记者 郑申;让数据提升管理[N];金融时报;2006年
2 周传刚;解读数据库[N];解放军报;2005年
3 驻张家港首席记者 陆晓华;张家港用“数字”管交通[N];苏州日报;2009年
4 记者 孙龙;整合科研信息 提高科研效率[N];中国社会科学院院报;2006年
5 张静静红 李林 陈尚平;用数据库计算税收分析指标[N];中国税务报;2007年
6 ;国家统计局数据库系统建设取得重要进展[N];中国信息报;2002年
7 徐岩;海岸带海岛基础数据库系统建设完成通过验收[N];中国海洋报;2008年
8 李兴衡;IT专业“充电”必备[N];中国电脑教育报;2008年
9 本报记者 田梦;DB2走过25载 数据库未来谁主沉浮[N];计算机世界;2008年
10 杨耀辉;唤醒“沉睡”的信息[N];中国国防报;2006年
中国博士学位论文全文数据库 前10条
1 陈建英;基于数字有机体数据库系统的搜索定位研究[D];电子科技大学;2011年
2 陈冲;超细群核数据库系统的开发及应用研究[D];中国科学技术大学;2014年
3 周万怀;苹果近红外光谱数据库系统关键算法研究及原型系统开发[D];浙江大学;2014年
4 史纪安;江河源区生态环境质量评价及数据库研建[D];西北农林科技大学;2006年
5 卢科;闪存数据库系统存储管理及可裁剪性研究[D];中国科学技术大学;2012年
6 乌尼尔夫;中国马业综合数据库的建立及马基因组序列预测[D];内蒙古农业大学;2009年
7 相克俊;混合推理高速切削数据库系统的研究与开发[D];山东大学;2007年
8 赵韩涛;基于GIS-T的高速公路紧急救援系统构建及相关模型研究[D];吉林大学;2006年
9 马利民;新一代产品几何量技术规范(GPS)理论框架体系及关键技术研究[D];华中科技大学;2006年
10 毕雪亮;基于知识发现的钻井工程优化理论及应用[D];大庆石油学院;2007年
中国硕士学位论文全文数据库 前10条
1 罗朝劲;D-SQL分布式数据库系统的启动与恢复[D];电子科技大学;2002年
2 刘美香;基于COM/DCOM的多数据库系统[D];昆明理工大学;2002年
3 周伟;螺旋桨负载仿真装置[D];哈尔滨工程大学;2006年
4 马宏剑;湛江地区全风化花岗岩路用特性与地理信息系统应用研究[D];东南大学;2006年
5 宫爱红;汽车模具高速切削工艺参数数据库系统的设计[D];华中科技大学;2006年
6 劳越明;数字化服装样板管理系统的研发[D];苏州大学;2007年
7 冯雪莲;基于UML的图书馆网络管理系统的设计与实现[D];天津大学;2007年
8 崔琪;一种新型的信息检索架构:DualEye[D];北京交通大学;2008年
9 叶家炜;平台无关的数据库安全保护方法研究[D];复旦大学;2008年
10 翟艺佳;吉林省生态环境质量评价指标体系及其数据库平台的研建[D];吉林农业大学;2008年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026