收藏本站
收藏 | 论文排版

基于简化MD5摘要技术快照差分算法的研究

唐向阳  
【摘要】:随着计算机技术的飞速发展人类社会信息化程度得到不断推进,数字化的信息量呈现出几何级数增长的趋势。如果能够集成和有效地利用这些信息,将会极大的提高生产效率从而给社会带来极大的收益。 数据集成最基础和最早的阶段是增量检测以得到增量数据,其评判标准主要是看检测的代价及高效性。应这些需求出现了很多相应的增量检测办法如触发器、日志分析等。而因为通用性和简单性能够占有一席之地快照差分算法是简单比较数据源两个时刻的快照来达到检测增量数据。 本文对快照差分算法进行研究,快照差分算法因其通用性及可移植性在各种增量检测方式中占据了一个不可替代的位置。首先以介绍传统Sort Merge快照差分算法为基础,根据其代价主要产生对数据量大的快照文件进行比较时的多次磁盘IO问题。为降低算法的磁盘IO,提出元组摘要的方法降低备份的快照文件大小。经过验证基于摘要的SortMerge算法有效的降低了运算过程中涉及的磁盘IO量,使算法的效率得到了极大的提升。 由于摘要算法的选取对整个算法实施的性能影响至关重要,本文再对摘要算法选取和改进进行了一些探讨。最后选择了被广为使用的MD5摘要算法,通过减少其循环重数的方法对其进行简化并对简化后的算法进行了验证。最后使用简化后的MD5算法形成基于简化MD5的SortMerge算法,相比原始快照差分算法和基于原始MD5的SortMerge效率得到了极大的提升。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 沈红雨;;英语学习平台数据库的异地热备份设计与实施[J];电脑知识与技术(学术交流);2006年36期
2 周敬利,汤文晖,余胜生,杨立辉;附网存储中快照技术的设计[J];计算机工程与应用;2003年27期
3 王辉;ORACLE数据库的性能调整与优化——以中日合作项目林火监测系统为应用实例[J];林业资源管理;2003年06期
4 唐土生;;利用Oracle数据库快照实现数据双向复制[J];福建电脑;2006年05期
5 吴田仙;;快照模式焦平面最高读出速度的研究[J];科技信息(学术版);2006年08期
6 吴远红;陈爱萍;;共享数据库平台中的时态数据处理研究[J];电脑知识与技术(学术交流);2006年32期
7 褚福勇;肖侬;蔡志平;陈彬;;虚拟机备份机制研究[J];计算机工程与科学;2009年09期
8 陈彬;蔡志平;肖侬;褚福勇;;虚拟机管理器中面向虚拟块设备的一种通用快照扩展机制[J];计算机工程与科学;2011年05期
9 陈中建,李晓勇,吉利久,韩建忠,喻松林;低功耗64×64CMOS快照模式焦平面读出电路新结构[J];半导体学报;2001年11期
10 尤国君;;基于iSCSI的个性化无盘工作站架设[J];中小企业管理与科技(下旬刊);2011年08期
11 刘晓鹏;郭桂荣;许浒;;容灾关键技术分析及方案设计[J];科技资讯;2006年25期
12 宋晓宇;孙业挺;孙焕良;;CYPK-KNN:一种改进的移动对象KNN查询算法[J];沈阳建筑大学学报(自然科学版);2006年06期
13 刘凯;崔晓燕;;基于Monte Carlo方法的3G网络仿真[J];信息技术;2007年04期
14 周鹏;杨丹;鱼详训;;带快照的混合数据库系统设计与应用[J];计算机科学;2008年04期
15 熊安萍;唐巍;蒋溢;;具有快照功能的Linux文件系统[J];计算机应用;2010年S1期
16 万涛;;信息系统进程监控[J];宝钢技术;2010年06期
17 李拥军,贺桂英;网络安全策略研究和PGP分析[J];湘潭大学自然科学学报;2002年02期
18 陈志贤,王绍棣;SIP协议中认证注册机制的研究[J];南京邮电学院学报;2003年03期
19 李杰,张学旺;MD5报文摘要算法与文件系统完整性保护[J];湘潭大学自然科学学报;2003年03期
20 邸晓奕,万映辉;ORACLE分布式数据库系统位置透明性的实现机制[J];计算机系统应用;1998年06期
中国重要会议论文全文数据库 前10条
1 严哲南;楼荣生;;窗口算法问题的解决方案[A];第十六届全国数据库学术会议论文集[C];1999年
2 刘永亮;朱敏韬;余存光;;基础数据维护在铁路运输管理信息系统中应用的实现[A];铁道部信息技术中心成立30周年暨铁路运输管理信息系统(TMIS)工程全面竣工投产TMIS工程建设论文专辑(二)[C];2005年
3 沈建辉;姚丹霖;王成;;一种基于分组和快照的双层卫星网络路由算法[A];2007北京地区高校研究生学术交流会通信与信息技术会议论文集(下册)[C];2008年
4 娄颖;王彦龙;李战怀;林伟;湛文韬;;一种块级别多模式数据容灾模型[A];2007年全国开放式分布与并行计算机学术会议论文集(下册)[C];2007年
5 许力;马瑞新;;基于快照比对的增量数据捕获研究与实现[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
6 刘镇涛;冯德民;吴振强;;基于SAN的分布式卷管理架构及实现[A];2006年全国开放式分布与并行计算机学术会议论文集(三)[C];2006年
7 曹丹阳;;数据完整性的检测研究[A];中国计量协会冶金分会2008年会论文集[C];2008年
8 曹丹阳;;数据完整性的检测研究[A];2008全国第十三届自动化应用技术学术交流会论文集[C];2008年
9 潘丽;邹建成;;一种基于英文文本内容的零水印新算法[A];2007通信理论与技术新发展——第十二届全国青年通信学术会议论文集(上册)[C];2007年
10 胡景浩;;在网站安全性应用中对MD5码的改进[A];第三届全国软件测试会议与移动计算、栅格、智能化高级论坛论文集[C];2009年
中国博士学位论文全文数据库 前9条
1 白洪欢;MD5快速碰撞算法之研究[D];浙江大学;2010年
2 李怀阳;进化存储系统数据组织模式研究[D];华中科技大学;2006年
3 赵振;一种自适应海量存储系统组织策略及关键技术研究[D];华中科技大学;2006年
4 胡小工;空间测量技术的数据处理精度评估和残差统计分析[D];中国科学院上海天文台;1999年
5 吴广君;多版本块备份数据管理关键技术研究[D];哈尔滨工业大学;2010年
6 李明;异构传感器网络覆盖算法研究[D];重庆大学;2011年
7 郑江滨;视频监视方法研究[D];西北工业大学;2002年
8 肖三水;光子晶体计算方法和设计的研究[D];浙江大学;2004年
9 孔政敏;宽带无线通信系统中的多用户检测[D];华中科技大学;2011年
中国硕士学位论文全文数据库 前10条
1 唐向阳;基于简化MD5摘要技术快照差分算法的研究[D];暨南大学;2011年
2 黎春桃;基于快照差分技术的增量数据检测方法的研究及实现[D];暨南大学;2010年
3 王彬;当代西方时装摄影叙事风格研究[D];南京师范大学;2006年
4 陶博舟;磁盘阵列快照系统的设计与实现[D];华中科技大学;2007年
5 文琦;分布式系统中容错计算的合意问题与快照算法的研究[D];厦门大学;2006年
6 袁晓铭;磁盘阵列系统的快照技术研究[D];华中科技大学;2007年
7 汪芳;磁盘阵列中在线扩容与快照技术的研究与实现[D];华中科技大学;2007年
8 海杰;设备层多版本快照的设计与实现[D];华中科技大学;2008年
9 邢双明;Linux上Ext2 Snapshot文件系统的设计与实现[D];东南大学;2006年
10 沈豪;基于SAN的数据备份系统的研究[D];西北工业大学;2006年
中国重要报纸全文数据库 前10条
1 黄启穆;全市首台自助摄影亭亮相大朗[N];东莞日报;2010年
2 宋家雨;从备份软件向数据管理的美丽蝶变[N];网络世界;2009年
3 张崇峰;关注数据生命周期[N];中国计算机报;2002年
4 晓征;都市消费透视[N];中国有色金属报;2002年
5 瓦力 编译;购买存储不必思前想后[N];计算机世界;2009年
6 止庵(学人);“无意义”之意义[N];中国图书商报;2002年
7 慷孚公司资深系统工程师 林晓明;备份中一体化信息管理[N];网络世界;2008年
8 本报记者 刘学习;数据生命周期的管理[N];计算机世界;2002年
9 本报记者 郭涛;数据管理一体化[N];中国计算机报;2009年
10 华为赛门铁克科技有限公司 王洪辉;存储节能技术解析[N];中国计算机报;2009年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978