基于简化MD5摘要技术快照差分算法的研究

【摘要】：随着计算机技术的飞速发展人类社会信息化程度得到不断推进,数字化的信息量呈现出几何级数增长的趋势。如果能够集成和有效地利用这些信息,将会极大的提高生产效率从而给社会带来极大的收益。 数据集成最基础和最早的阶段是增量检测以得到增量数据,其评判标准主要是看检测的代价及高效性。应这些需求出现了很多相应的增量检测办法如触发器、日志分析等。而因为通用性和简单性能够占有一席之地快照差分算法是简单比较数据源两个时刻的快照来达到检测增量数据。 本文对快照差分算法进行研究,快照差分算法因其通用性及可移植性在各种增量检测方式中占据了一个不可替代的位置。首先以介绍传统Sort Merge快照差分算法为基础,根据其代价主要产生对数据量大的快照文件进行比较时的多次磁盘IO问题。为降低算法的磁盘IO,提出元组摘要的方法降低备份的快照文件大小。经过验证基于摘要的SortMerge算法有效的降低了运算过程中涉及的磁盘IO量,使算法的效率得到了极大的提升。 由于摘要算法的选取对整个算法实施的性能影响至关重要,本文再对摘要算法选取和改进进行了一些探讨。最后选择了被广为使用的MD5摘要算法,通过减少其循环重数的方法对其进行简化并对简化后的算法进行了验证。最后使用简化后的MD5算法形成基于简化MD5的SortMerge算法,相比原始快照差分算法和基于原始MD5的SortMerge效率得到了极大的提升。