收藏本站
《华东师范大学》 2017年
收藏 | 手机打开
二维码
手机客户端打开本文

CLAIMS系统中实时数据注入的研究与实现

余楷  
【摘要】:随着互联网的发展,面对海量数据的存储和管理问题,金融等行业开始采用分布式数据库系统以提升系统的数据处理能力和可扩展性。为减少因数据注入延时和分析延时带来的数据价值下降,金融等行业要求其系统支持实时的数据注入和查询;同时也需要事务性的注入和查询以保证金融数据的正确性和一致性。而传统分布式环境下的事务处理大多基于锁和两阶段提交,无法实现高通量实时数据注入,另一方面NoSQL分布式系统不支持事务型数据注入。CLAIMS系统是开源的分布式内存OLAP系统,支持实时数据查询,但需要功能扩展以实现事务性实时数据注入。本文针对CLAIMS系统,设计基于元数据的事务并发控制机制,进而提出分布式事务型实时数据注入框架,并通过大量实验证明其满足金融等领域的需求。本文的主要贡献如下:1.针对CLAIMS系统设计基于元数据的事务并发控制机制,通过逻辑与物理相分离来达到控制元数据即控制事务数据的目的,原子性并发控制元数据以隔离写事务,利用事务快照以实现读写分离,支持强一致性。2.在实现分布式事务管理器的基础上,本文设计事务型分布式实时数据注入引擎,广泛使用无锁结构提供高吞吐量和低延时的实时数据注入,通过事务保证注入过程的ACID特性,且具有较高的可扩展性。3.在分布式OLAP系统上实现事务型实时数据注入框架,并通过一系列功能测试,与VoltDB进行性能对比测试,证明本文设计的框架在满足事务特性的同时,能提供较高通量低时延的实时数据注入服务。本文提出的基于元数据的事务并发控制方式具有一定的创新性和学术价值,设计实现的实时数据注入基本满足工业生产环境的需求,具有一定的实践价值。本文的工作对我国金融行业的分布式数据实时注入具有借鉴意义。
【学位授予单位】:华东师范大学
【学位级别】:硕士
【学位授予年份】:2017
【分类号】:TP311.13

手机知网App
【参考文献】
中国期刊全文数据库 前2条
1 邹先霞;贾维嘉;潘久辉;;基于数据库日志的变化数据捕获研究[J];小型微型计算机系统;2012年03期
2 陆剑峰,张浩;数据仓库数据更新的研究及基于Oracle数据库的开发与应用[J];计算机工程与应用;2004年26期
中国硕士学位论文全文数据库 前1条
1 张磊;Claims系统中的大表连接算法研究与实现[D];华东师范大学;2015年
【共引文献】
中国期刊全文数据库 前10条
1 罗云芳;黄锦祝;;基于物联网技术的高校消防安全动态监控管理系统实现[J];微型机与应用;2016年20期
2 柴华;;气象数据库监控系统设计方法分析[J];科学家;2016年13期
3 彭巍;邵佳炜;雷振江;吕旭明;聂庆节;刘赛;;基于数据块的关系数据库日志挖掘技术[J];计算机系统应用;2016年07期
4 武彤;谭光炜;;基于索引视图实现动态数据仓库的实时数据加载[J];计算机科学;2016年S1期
5 洪怀江;马晟杰;;医院信息系统应用级容灾体系的建设与实施[J];中国医疗设备;2016年04期
6 房亚群;田其英;;基于大数据高校教学数据智能处理平台的设计[J];湖南工业职业技术学院学报;2016年02期
7 钟容;;基于事务日志的数据同步模型研究[J];科技创新与应用;2016年10期
8 吴秀君;;基于ORACLECDC技术实现数据自动同步[J];电脑知识与技术;2015年27期
9 李凌;;基于动态数据仓库的商务智能系统研究[J];软件导刊;2015年06期
10 谭光玮;武彤;;基于CDC机制的数据仓库实时数据更新方法研究[J];计算机科学;2015年S1期
中国硕士学位论文全文数据库 前1条
1 余楷;CLAIMS系统中实时数据注入的研究与实现[D];华东师范大学;2017年
【二级参考文献】
中国期刊全文数据库 前2条
1 张晓刚;潘久辉;;MS SQL Server 2000日志分析方法的研究与实现[J];计算机工程与设计;2006年19期
2 梁为,凌怀新,张晓刚,潘久辉;基于Oracle的日志分析器[J];计算机应用;2003年07期
【相似文献】
中国期刊全文数据库 前5条
1 李勒;洪爽俊;张驰;;基于概率统计的错误数据注入攻击[J];信息安全与通信保密;2013年07期
2 杨清宇;杨洁;马训鸣;;电力系统中假数据注入攻击研究[J];微电子学与计算机;2011年12期
3 李勒;洪爽俊;张驰;;基于部分配置信息的错误数据注入攻击[J];微电子学与计算机;2014年02期
4 谢婧;李曦;杨峰;;应对虚假数据注入结合途中过滤与溯源追踪方法[J];计算机系统应用;2011年12期
5 熊伟;;WSN中一种基于扩展卡尔曼滤波器的虚假数据注入检测算法[J];计算机应用研究;2014年05期
中国重要报纸全文数据库 前1条
1 本报记者 陈丽容;健康数据注入社交玩法 在线医疗迎个性化机遇[N];通信信息报;2014年
中国硕士学位论文全文数据库 前4条
1 代明明;电力系统局部区域假数据注入攻击研究[D];西南交通大学;2016年
2 余楷;CLAIMS系统中实时数据注入的研究与实现[D];华东师范大学;2017年
3 侯方圆;输出跟踪控制系统的虚假数据注入攻击设计[D];青岛理工大学;2015年
4 张林鹏;电力系统恶意攻击检测关键技术研究[D];上海电力学院;2017年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026