收藏本站
《哈尔滨工业大学》 2010年
收藏 | 手机打开
二维码
手机客户端打开本文

多版本块备份数据管理关键技术研究

吴广君  
【摘要】:随着网络技术的发展和磁盘技术的成熟,数据存储量急剧增长,人类社会对数据信息依赖程度不断的加剧。人为错误、病毒攻击、介质失效、软件故障甚至站点失效等原因都会引起数据的丢失。目前细粒度多版本备份技术已经引起广泛的关注,与传统备份技术相比,可以减少版本之间丢失的数据量,为关键业务提供可靠数据存储环境。但是目前大量的研究集中在数据复制技术上,在细粒度多版本备份条件下,备份数据的可恢复性和恢复效率逐渐成为整个系统的核心问题。 本文以块备份数据源为研究对象,块备份数据源具有与应用无关的特性,可显著降低数据保护成本。但是由于块备份数据是无结构的二进制数据源,随着数据复制频率的增加和数据保存版本数目的增长,数据管理越来越复杂,导致当前的多版本索引技术、基于内容索引技术以及数据存储系统中采用的数据管理方法都无法直接应用于多版本块备份数据管理中。基于上述背景,本文针对多版本块备份数据管理中数据的可恢复性和恢复效率等关键问题进行了分析、研究,具体内容如下: 第一,为了实现一种相对通用的数据管理技术,分析了影响多版本块备份数据管理性能的主要因素,如数据复制技术,多版本备份数据的构成,数据备份恢复流程以及备份数据的分布特征等。在此基础上提出本文研究的目标,即在产生最少版本备份数据的条件下,保证任意版本的可恢复性。利用上述多版本备份数据分析、管理框架,明确了多版本备份数据管理中面临的问题和解决思路,为后续章节提供理论基础。 第二,为了适应高频数据复制对备份数据索引结构的更新效率、检索效率和存储效率的要求,以CDP(Continuous Data Protection)数据复制为背景,根据多版本间的时序性分析,建立同时满足前滚和后滚的双向检索索引结构。与当前索引技术相比,使用同一种索引结构支持双向检索操作。双向索引结构适于应用在密集写操作的应用场景,结合检查点技术可以提供面向应用一致性的数据恢复方法。 第三,备份数据中的快照技术可提供恢复状态的起点,保证数据恢复的正确性。本文采用基于版本融合的快照检索思想,设计并实现了以版本融合为基础的快照索引方法HCSIM(Hierarchical Clustering Snapshot Indexing Method),并进一步通过BVSM(Bitmap Vector Snapshot Merging)算法消除由于磁盘数据写偏移产生的索引项冗余现象。实验分析结果表明,HCSIM满足多版本块备份数据中的快照检索需求,比当前备份系统中的快照技术在索引存储效率和检索效率方面取得更好的平衡关系,有效降低索引复杂度。 第四,针对长期、多版本备份数据中位图索引技术效率低下的问题,根据块备份数据的分布特征,提出以可变长数据块为索引单位的区间索引技术。并进一步实现了可变长数据块多版本管理方法,具体包括版本融合、快照检索、版本删除等算法。实验分析结果表明:区间索引技术比位图索引技术、传统的多版本索引技术显著提高索引数据的存储效率,更新效率以及版本检索效率。 第五,结合上述研究,本文设计并实现了磁盘数据备份/恢复系统。系统包括三个基本组成部分:备份客户端,元数据服务端,备份数据存储端。本文的研究工作主要应用于存储端的备份数据管理中。通过在实际系统中对本文提出的管理方法进行具体测试得出,本文提出的多版本备份数据管理技术可以支持任意版本备份数据的快速恢复,适于应用到块备份数据的多版本管理中,实现了本文最初的研究目标。
【学位授予单位】:哈尔滨工业大学
【学位级别】:博士
【学位授予年份】:2010
【分类号】:TP309.3

手机知网App
【引证文献】
中国博士学位论文全文数据库 前1条
1 王灿;基于在线重复数据消除的海量数据处理关键技术研究[D];电子科技大学;2012年
中国硕士学位论文全文数据库 前1条
1 邓长生;基于重复数据消除的数据备份关键技术研究[D];电子科技大学;2013年
【参考文献】
中国期刊全文数据库 前6条
1 杨朝红,宫云战,桑伟前,刘海燕,李庆艳;基于主从异步复制技术的容灾实时系统研究与实现[J];计算机研究与发展;2003年07期
2 李旭;谢长生;杨靖;曹强;魏沁祺;;一种改进的块级连续数据保护机制[J];计算机研究与发展;2009年05期
3 刘振军;许鲁;冯硕;尹洋;;一种迭代式快照系统的设计与实现[J];计算机工程与应用;2006年14期
4 向小佳;舒继武;郑纬民;;一种细粒度高效多版本文件系统[J];软件学报;2009年03期
5 向小佳;舒继武;余宏亮;;基于集群虚拟化的高精度快照的设计与实现[J];通信学报;2009年02期
6 张冰;卢正添;李涛;;多路恢复数据流并行传输与控制方法[J];通信学报;2009年03期
【共引文献】
中国期刊全文数据库 前10条
1 王彦龙;李战怀;林伟;温宗臣;;面向容灾的软同步复制算法研究[J];高技术通讯;2008年04期
2 贺琛;杨鸿珍;王彦波;;基于SAN技术的波分容灾系统传输时延研究[J];电力信息与通信技术;2013年12期
3 张弛;;数据容灾技术在企业信息系统中的应用[J];信息通信;2012年02期
4 徐俊波;王慧强;冯光升;吕宏武;田苏梅;;Bellman动态规划的服务恢复方法[J];哈尔滨工程大学学报;2011年06期
5 莫毓昌;崔刚;曲峰;;面向容错COTS服务器的PB机制研究[J];哈尔滨工业大学学报;2006年10期
6 黄荣荣;舒继武;陈康;肖达;;基于连续多版本的可审计文件系统[J];计算机研究与发展;2009年11期
7 周炜;谭怀亮;易乐天;舒继武;;基于带外存储虚拟化的逻辑卷高性能快照[J];计算机研究与发展;2012年03期
8 王树鹏,云晓春,余翔湛,胡铭曾;容灾的理论与关键技术分析[J];计算机工程与应用;2004年28期
9 熊曾刚,张学敏,陈建新,王时绘2;基于Oracle9 i分布式数据库系统复制机制的研究[J];计算机工程与应用;2004年35期
10 余承龙;李战怀;黄英;胡娜;;采用位表的块级持续数据容灾系统研究[J];计算机工程与应用;2010年32期
中国重要会议论文全文数据库 前4条
1 申排伟;陆锋;;基于视图的分布式空间数据更新技术研究[A];中国地理信息系统协会第八届年会论文集[C];2004年
2 张文体;;一种基于文件管理的容灾系统研究与实现[A];2010通信理论与技术新发展——第十五届全国青年通信学术会议论文集(上册)[C];2010年
3 张晓华;张至柔;;基于网络存储备份技术的高校广义数据中心架构研究[A];2008'中国信息技术与应用学术论坛论文集(二)[C];2008年
4 贾艳燕;娄燕飞;杨树强;贾焰;;分布异构多数据库中多副本一致性维护研究与实现[A];第二十三届中国数据库学术会议论文集(技术报告篇)[C];2006年
中国博士学位论文全文数据库 前4条
1 刘卫平;网络存储中的数据容错与容灾技术研究[D];西北工业大学;2006年
2 秦磊华;存储扩展流量控制缓存分配策略研究[D];华中科技大学;2007年
3 王红熳;智能网容灾系统设计的关键技术研究[D];北京邮电大学;2009年
4 伍江江;面向服务应急响应的数据保护关键技术研究[D];国防科学技术大学;2012年
中国硕士学位论文全文数据库 前10条
1 孙永洁;多根模型研究及在分布式环境下的应用[D];大连理工大学;2010年
2 张准;远程数据自动恢复支持技术研究[D];沈阳理工大学;2010年
3 周珠;基于混沌密码技术的网络文件备份系统研究[D];南京理工大学;2011年
4 王新;Oracle容灾在银行业务系统中的研究应用[D];电子科技大学;2011年
5 吴勇军;一种Oracle数据库容灾系统的应用研究[D];中国石油大学;2010年
6 李亮;一种基于持续数据保护的镜像系统的研究与实现[D];国防科学技术大学;2010年
7 任敏敏;一种快照技术的研究与实现[D];华中科技大学;2011年
8 张鹏;在线备份系统中存储服务器的研究与实现[D];华中科技大学;2011年
9 陈作霞;基于数据同步的网上报名系统容灾机制的研究与实现[D];广东工业大学;2006年
10 黄立峰;一种关键数据灾备与恢复方法的设计与实现[D];哈尔滨工业大学;2006年
【同被引文献】
中国期刊全文数据库 前7条
1 王灿;秦志光;冯朝胜;彭静;;面向重复数据消除的备份数据加密方法[J];计算机应用;2010年07期
2 王灿;秦志光;王娟;冯朝胜;;基于线性链式Delta压缩的数据库备份方法[J];计算机应用研究;2010年05期
3 王灿;秦志光;王娟;蔡博;;基于文件相似性分簇的重复数据消除模型[J];计算机应用研究;2012年05期
4 王灿;秦志光;王娟;;一种基于预分块和滑动窗口的重复数据消除方法[J];控制与决策;2012年08期
5 敖莉;舒继武;李明强;;重复数据删除技术[J];软件学报;2010年05期
6 谢长生,罗益辉;IP-SAN的研究与设计[J];小型微型计算机系统;2005年06期
7 王树鹏;;重复数据删除技术的发展及应用[J];中兴通讯技术;2010年05期
中国博士学位论文全文数据库 前4条
1 杨天明;网络备份中重复数据删除技术研究[D];华中科技大学;2010年
2 刘卫平;网络存储中的数据容错与容灾技术研究[D];西北工业大学;2006年
3 刘群;基于可扩展对象的海量存储系统研究[D];华中科技大学;2006年
4 王灿;基于在线重复数据消除的海量数据处理关键技术研究[D];电子科技大学;2012年
中国硕士学位论文全文数据库 前1条
1 李立松;基于IP存储的网络容灾技术研究与系统实现[D];西北工业大学;2005年
【二级引证文献】
中国硕士学位论文全文数据库 前4条
1 邓长生;基于重复数据消除的数据备份关键技术研究[D];电子科技大学;2013年
2 杨思茗;广域网存储加速系统的研究与实现[D];电子科技大学;2013年
3 周旋;云网关上重复数据删除的设计与实现[D];华中科技大学;2013年
4 戈星晨;面向移动终端的数据去重研究[D];山东大学;2014年
【二级参考文献】
中国期刊全文数据库 前3条
1 沈昌祥;张焕国;冯登国;曹珍富;黄继武;;信息安全综述[J];中国科学(E辑:信息科学);2007年02期
2 王迪;薛巍;舒继武;沈美明;;海量存储网络中的虚拟盘副本容错技术[J];计算机研究与发展;2006年10期
3 刘振军,许鲁,尹洋;蓝鲸SonD动态服务部署系统[J];计算机学报;2005年07期
【相似文献】
中国期刊全文数据库 前4条
1 陈进;;MELINETS系统维护点滴体会[J];首都医科大学学报(社科版);2009年00期
2 朱彦斌;;利用FinalDataEnterprise2.0软件还原计算机数据[J];中国医疗设备;2008年01期
3 罗海云;;图书馆数据网络定时自动备份的原理与技术[J];考试周刊;2009年25期
4 张萍;钱沛然;祁立学;杨树勋;;多路由备份数据热储备系统的优化设计方法[J];测控技术;2010年02期
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026