收藏本站
《华中科技大学》 2011年
收藏 | 手机打开
二维码
手机客户端打开本文

重复数据删除技术的研究与实现

曾涛  
【摘要】:随着信息数字化的快速发展与生产力的突飞猛进,当今企业对信息的存储需求也在飞速增长。尽管存储设备的销售价格在不断地下降,但远远赶不上企业内部产生和需要保存数据的攀升速度。重复数据删除技术能够删除重复的数据,实现数据的唯一实例存储,将有望解决该问题。该技术一般应用在备份、归档等集中式数据存储的系统中,能有效地节省存储空间和网络的传输带宽。 目前,对文件或数据流中重复数据的查找效率始终是重复数据删除技术应用的瓶颈,为此重点对提高重复数据的查找效率进行了研究,并将重复数据删除技术融合到数据备份领域实现了高效的、稳定的数据容灾备份系统,它可以为数据提供安全的存储服务。该系统运用了多项技术来提高数据的备份和恢复性能:元数据的多级查询机制、数据缓存机制和多线程技术。元数据的多级查询机制通过使用全局Bloom Filter、二级索引缓存和磁盘哈希表来提高对重复数据的查找速度;数据缓存机制则通过对数据块的内存缓冲,可以避免对磁盘频繁的I/O操作;多线程技术可以提高系统的并发处理能力,从而在整体上提升系统的性能。 测试表明,提出的重复数据删除技术能有效地提高备份和恢复性能,同时,能极大的减少冗余数据的存储,节省存储空间,提高备份容灾系统的存储效率。
【学位授予单位】:华中科技大学
【学位级别】:硕士
【学位授予年份】:2011
【分类号】:TP333

手机知网App
【相似文献】
中国期刊全文数据库 前10条
1 欧阳一鸣;刘军;梁华国;黄喜娥;;基于位跳变相容的多扫描链压缩方法[J];电子测量与仪器学报;2011年07期
2 郭伟鹏;沈松雨;;Silverlight支持下的WebGIS的研究与实现[J];地理空间信息;2011年04期
3 钟子豪;钟广超;张明军;许克静;;一种P2P流媒体数据调度策略的研究[J];计算机与数字工程;2011年08期
4 孙涛;秦雅娟;杨冬;孙亮;;基于FreeSwitch的会议电话系统研究与实现[J];铁道通信信号;2011年09期
5 苏雪丽;袁丁;;Windows下两种API钩挂技术的研究与实现[J];计算机工程与设计;2011年07期
6 李正杰;徐炜民;柴亚辉;郑衍衡;;FMM算法中PP问题在GPU上的研究与实现[J];计算机工程与设计;2011年09期
7 秦常贵;;车牌自动识别的算法研究与实现[J];计算技术与自动化;2011年02期
8 王博;林中;;可重用构件界面框架的研究与实现[J];计算机工程与设计;2011年06期
9 朱保中;刘兵;;行政单位电子政务数据容灾备份研究与实现[J];电脑知识与技术;2011年21期
10 陈日莉;;基于Web的远程辅助教学系统的研究与实现[J];电脑知识与技术;2011年22期
中国重要会议论文全文数据库 前10条
1 秦燕峰;刘亚军;;基于多文档和动态链接库技术的软件开发方法研究与实现[A];第十八届全国数据库学术会议论文集(技术报告篇)[C];2001年
2 齐智平;;具有开放式体系结构的数控系统软件平台的研究与实现[A];西部大开发 科教先行与可持续发展——中国科协2000年学术年会文集[C];2000年
3 童小华;张锦;田根;;基于PDA的嵌入式GIS研究与实现[A];中国地理信息系统协会第三次代表大会暨第七届年会论文集[C];2003年
4 唐扬;熊伟;赵锋锐;景宁;;数据库功能扩展技术研究与实现[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
5 张鹏;李昭原;;基于组件技术的事务处理研究与实现[A];第十九届全国数据库学术会议论文集(技术报告篇)[C];2002年
6 王靖宇;李素梅;汪清;;基于PIC的USB通信板的研究与实现[A];2010年通信理论与信号处理学术年会论文集[C];2010年
7 林琦;王丽娜;董晓梅;于戈;申德荣;;MPEG视频信息中的数字水印研究与实现[A];第十九届全国数据库学术会议论文集(技术报告篇)[C];2002年
8 黄立平;冯玉才;肖伟器;;一种多媒体数据库数据模型的研究与实现[A];第十届全国数据库学术会议论文集[C];1992年
9 马继峰;彭晓源;冯勤;;基于微机的图形图象系统的研究与实现[A];二○○一年中国系统仿真学会学术年会论文集[C];2001年
10 杨林;张田文;柴旭东;;基于协同仿真平台COSIM集成仿真软件工具MATLAB的研究与实现[A];2003年全国系统仿真学术年会论文集[C];2003年
中国重要报纸全文数据库 前10条
1 计算机世界实验室 韩勖;中小企业存储之道[N];计算机世界;2007年
2 匡红庆 周朝晖;软件项目管理的质量保证[N];人民政协报;2005年
3 ;“不联网搜索”新概念[N];网络世界;2006年
4 美国飞康软件公司中国区技术总监 颜军;飞康:单实例存储实现快速恢复[N];中国计算机报;2007年
5 李宏;存储与交换融合[N];中国计算机报;2001年
6 中国传媒大学计算机学院 朱立谷;重复数据删除技术解析[N];中国计算机报;2007年
7 汉帆(杭州)信息技术有限公司 杨洋;数据缩减:减少归档数据量[N];中国计算机报;2008年
8 罗庆超;VxFS中的检查点和快照技术[N];中国计算机报;2007年
9 昆腾公司;提供灾难恢复保护的远程复制[N];中国计算机报;2007年
10 本报记者 张群英;左手,右手[N];网络世界;2005年
中国博士学位论文全文数据库 前10条
1 赵鑫;P2P流媒体内容分发的关键技术研究[D];北京邮电大学;2010年
2 涂旭平;对等流媒体直播系统带宽资源优化研究[D];华中科技大学;2008年
3 马冠骏;基于网络编码的P2P文件分发的研究[D];中国科学技术大学;2009年
4 楼向雄;Mass-Storage SOC片上集成系统研究与实现[D];浙江大学;2004年
5 刘棣华;网络入侵检测系统及其自适应性的研究与实现[D];东华大学;2009年
6 李洪宁;万维网地理信息系统分布式理论体系研究与实现[D];中国地质大学(北京);2003年
7 徐奎;无线网络下的网络编码技术研究[D];华中科技大学;2009年
8 王见;异构节点的媒体分发系统研究[D];上海交通大学;2009年
9 郭杰;融合网络中面向最终用户的服务按需生成的研究与实现[D];北京邮电大学;2009年
10 张慧杰;面向大数据集的地形模型多分辨率建模关键技术研究[D];吉林大学;2009年
中国硕士学位论文全文数据库 前10条
1 曾涛;重复数据删除技术的研究与实现[D];华中科技大学;2011年
2 杨锦涛;电力系统环境下的网络时间同步系统的研究与实现[D];湖南大学;2011年
3 张静伟;网络能耗监测系统管理端的研究与实现[D];北京邮电大学;2012年
4 刘军;基于SIP协议的可视终端与服务器的研究与实现[D];北京邮电大学;2012年
5 程林;面向用户体验的无线网优指标展现模块的研究与实现[D];北京邮电大学;2012年
6 马少兵;数字图书馆私有云基础设施的构建和应用研究与实现[D];北京邮电大学;2012年
7 魏斌;农村信息化中虹终端交互设备的研究与实现[D];山东大学;2011年
8 王楠;Openflow网络中路由机制的研究与实现[D];北京邮电大学;2012年
9 孙继宇;基于移动微技平台的电信Web业务混搭研究与实现[D];北京邮电大学;2011年
10 周建魁;SaaS应用构建方法的研究与实现[D];郑州大学;2011年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026