面向海量数据的元数据管理和复制算法研究

【摘要】：大规模的分布式虚拟环境不但要求能模拟大范围的自然环境和大量实体之间的交互,同时还要求模拟逼真的自然环境,复杂实体的行为。因此,分布式虚拟环境需要管理很多大规模的数据对象,而且这些数据广泛地分布于广域网络的各个节点中。 目前,大多数分布式虚拟环境系统采用一般的数据库系统、文件系统或者多种系统混合的方法来存储和管理数据。随着规模的不断扩大,分布式虚拟环境中出现了数据管理复杂、数据访问效率低、数据访问接口复杂不统一的问题,而且这些数据管理系统在结构上也很难自然地与分布式虚拟环境融合在一起。对分布式虚拟环境中的数据管理机制进行深入研究已经成为分布式虚拟环境进一步发展的需要。 我们研究分析了分布式虚拟环境中数据及其访问模式的特点,利用元数据技术管理分布式虚拟环境中的海量数据,提出了基于网格的分布式虚拟环境体系结构,以及海量数据管理系统的层次式体系结构,设计并实现了由中央元数据目录和局部元数据目录构成的元数据目录系统。中央元数据目录管理所有的局部元数据目录,局部元数据目录管理局部范围内的元数据,局部元数据目录在中央元数据目录的协调下为本地的用户提供元数据目录服务。 针对分布式虚拟环境对数据访问效率的要求,我们提出了基于预测的并行复制算法。基于预测的并行复制算法包括两部分:并行复制算法和数据访问预测算法。并行复制算法通过同时从多个副本进行复制,利用网络的冗余路径来提高远程数据访问效率;数据访问预测算法通过在网络空闲时,提前将需要访问的数据复制到本地,利用网络的空闲带宽减少远程数据访问延迟来提高数据访问效率。模拟测试结果表明,基于预测的并行复制算法能有效降低分布式系统中的远程数据访问延迟,提高数据访问效率。