收藏本站
《西北工业大学》 2016年
收藏 | 手机打开
二维码
手机客户端打开本文

云存储环境下重复数据删除关键技术研究

贺秦禄  
【摘要】:随着物联网、移动智能设备及移动通讯、云计算等技术的飞速发展和广泛应用,个人和企业产生的数据量快速增加,数据中心的数据规模已达到PB级甚至EB级。面对如此规模的数据存储管理需求,云存储势在必行。作为新型存储系统,云存储利用虚拟化等多种数据管理技术,提供较低成本、高可扩展性的存储服务。据最新的研究结果显示,在各类云存储的应用中数据的重复率已经高达60%以上,同时重复数据量会随着时间和业务量的增加一直保持增长趋势。新兴的重复数据删除技术是存储领域内一种数据无损压缩的解决方案,可以有效地抑制重复数据快速增加,节省存储和带宽资源,缩减存储系统的构建时间并降低运营管理的成本,在学术界和产业界受到了广泛的关注。基于块的重复数据删除是最主流的重复数据删除方法,但应用于实际系统中的性能并不理想。影响性能的原因主要有两方面:首先,块索引检索引起较大的写入延迟。为查找重复的数据块,系统需要维护含有有效数据的所有数据块的索引,海量存储系统中数据块索引非常庞大,频繁的查找数据块索引会导致严重的写入延迟。其次,数据存储方式引起的数据碎片问题。重复数据删除中多文件共享数据块的存储方式使单个文件内容存储于多个不连续的扇区。随着数据量的增大,共享数据块数量也会增加,文件读取时需要根据引用访问不同位置的数据碎片,影响读取速度。论文以组-对等-中心存储构成的云存储系统模型为基础,以提高实现重复数据删除的性能为目标,重点研究块查找索引磁盘瓶颈问题和数据碎片问题。针对现有方法存在的不足,从提高相同数据块检测方法、提高重复数据删除系统的吞吐量、提高重复数据删除之后系统的读性能几个方面展开研究工作。本论文的研究内容和创新点主要体现在如下几个方面:(1)提出一种基于集群环境下并行重复数据删除算法,利用集群的计算能力,并行处理数据块重组和数据块指纹计算,有效地利用集群环境下闲置的计算能力消除系统重复数据删除所带来的写性能瓶颈,以提高删冗系统的整体性能。通过对原型系统的实验结果表明,采取这种并行化的数据块重组技术可以使系统的删冗性能提升明显。(2)根据大量的数据冗余的虚拟桌面存储功能,使用重复数据减少虚拟桌面基础架构的存储空间的需求;提出两层架构的删冗原型系统,充分利用整个平台和采用适当的重复数据删除技术的剩余资源来优化系统正常工作,在删除冗余数据条件的同时,并满足存储平台的基本性能要求。(3)针对数据碎片引起的读性能劣化问题,提出了一种基于混合存储的重复数据删除读性能改善策略。在混合存储环境下有效地利用SSD盘高随机读性能和低功耗的特点,对于随机读请求用SSD盘替代HDD盘,从而显著的提高系统的读性能。通过在原型系统的trace重放和对虚拟机磁盘镜像读性能评估实验结果表明,在基于混合存储的重复数据删除系统中应用该策略,在读性能和能耗方面均优于传统的重复数据删除系统。(4)提出了全分布的基于重复数据删除的云存储系统模型,该模型以用户为中心形成“组-对等-中心存储”的层次结构。采用Chord算法协调多个服务管理节点,并将用户请求分发到多个数据块服务器,以构建全新无中心管理节点的云存储原型系统,通过这样的方式使系统具备良好的负载均衡和去重率,从而提高云存储系统的性能和服务质量。实验结果表明,该模型具有较高的性能及可用性,为客户端提供相对较高的云存储服务质量。
【学位授予单位】:西北工业大学
【学位级别】:博士
【学位授予年份】:2016
【分类号】:TP333

【相似文献】
中国期刊全文数据库 前10条
1 王军;重复数据 批量剔除[J];电脑应用文萃;2004年06期
2 ;重复数据删除可实现25:1压缩[J];每周电脑报;2007年01期
3 贾志凯;王树鹏;陈光达;彭成;;一种并行层次化的重复数据删除技术[J];计算机研究与发展;2011年S1期
4 Eric Bassier;;应对数据增长的重磅武器——重复数据删除技术[J];计算机与网络;2013年06期
5 于丹;;昆腾进入重复数据删除市场[J];每周电脑报;2007年09期
6 卢敏;;“零距离”重复数据删除[J];软件世界;2008年11期
7 卢敏;;点亮“重复数据删除”[J];软件世界;2008年06期
8 徐立洋;;选购重复数据删除方案 软硬兼施剔除鸡肋数据[J];中国计算机用户;2009年08期
9 邢延刚;;删除重复值我有妙法[J];电脑迷;2009年09期
10 李刚;;重复数据删除走向“源头”[J];中国计算机用户;2009年16期
中国重要会议论文全文数据库 前3条
1 贾志凯;王树鹏;陈光达;彭成;;一种并行层次化的重复数据删除技术[A];2010年第16届全国信息存储技术大会(IST2010)论文集[C];2010年
2 杨廷梧;;基于重复数据删除的靶场试验信息存储技术[A];2009年西部光子学学术会议论文摘要集[C];2009年
3 肖钧;黄亮;;虚拟化搭配去重,双剑合璧更给力[A];2011年CAD/CAM学术交流会议论文集[C];2011年
中国重要报纸全文数据库 前10条
1 本报记者 张伟;重复数据删除能被扶正吗[N];中国计算机报;2008年
2 王琨月;重复数据删除不该忽视弱点[N];网络世界;2008年
3 本报记者 郭涛;基于硬件的重复数据删除效率更高[N];中国计算机报;2009年
4 朱皎;重复数据删除技术渐成主流[N];电脑商报;2009年
5 邢小萍;重复数据删除技术渐入佳境[N];网络世界;2009年
6 本报记者 刑小萍;重复数据删除市场迎来开门红[N];网络世界;2010年
7 清水 编译;部署重复数据删除[N];计算机世界;2010年
8 编译 张磊;谁在拖重复数据删除的后腿[N];中国计算机报;2009年
9 本报记者 郭涛;重复数据删除2.0追求“双高”[N];中国计算机报;2012年
10 编译 沈建苗;你果真需要重复数据删除技术吗[N];计算机世界;2013年
中国博士学位论文全文数据库 前10条
1 林彬;主存储服务系统中高I/O性能的重复数据删除技术研究[D];国防科学技术大学;2014年
2 周炳;海量数据的重复数据删除中元数据管理关键技术研究[D];清华大学;2015年
3 周景才;云数据中心软件节能关键技术的研究[D];武汉大学;2016年
4 贺秦禄;云存储环境下重复数据删除关键技术研究[D];西北工业大学;2016年
5 王国华;高效重复数据删除技术研究[D];华南理工大学;2014年
6 王灿;基于在线重复数据消除的海量数据处理关键技术研究[D];电子科技大学;2012年
7 付印金;面向云环境的重复数据删除关键技术研究[D];国防科学技术大学;2013年
8 周正达;信息存储系统中重复数据删除技术的研究[D];华中科技大学;2012年
9 杨天明;网络备份中重复数据删除技术研究[D];华中科技大学;2010年
10 朱锐;重复数据删除技术中的并行性能优化算法研究[D];华中科技大学;2013年
中国硕士学位论文全文数据库 前10条
1 张明月;客户端加密重复数据删除机制的研究[D];西安电子科技大学;2014年
2 黄可;重复数据可删除的云数据审计协议的研究[D];电子科技大学;2015年
3 王振宇;安全云存储中重复数据删除机制研究[D];南京邮电大学;2015年
4 李志然;云存储中集群重复数据删除系统的研究与设计[D];东北大学;2014年
5 张宏亮;重复数据删除技术在云存储中的应用与实现[D];华中科技大学;2014年
6 曹秀秀;面向XML相似性重复数据的清洗方法研究[D];首都经济贸易大学;2016年
7 彭健;基于重复数据删除的教育资源管理系统设计与实现[D];电子科技大学;2016年
8 陈琳;基于存储系统的重复数据删除技术的研究[D];南京邮电大学;2016年
9 涂群;云存储系统中重复数据删除机制的研究[D];南京邮电大学;2016年
10 曲新奎;云存储中数据编码优化和重复数据删除技术研究[D];东北大学;2013年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026