二级网络条纹数据布局及其相关问题的研究

【摘要】： 一个理想的存储系统应该是一个同时具备大容量、高性能、高可靠、可扩展和零管理等特征的存储系统。设计和实现理想存储系统是存储领域所有研究工作的最终目标。具体来说,目前国内外相关研究工作的重点是从存储系统的数据布局和体系结构两个方面出发,向理想存储系统的标准靠近。本文的工作也是围绕着这两个方面展开的。 冗余磁盘阵列(RAID)是当前应用最广泛的存储系统。但是,RAID系统距离理想存储系统的标准仍然存在很大的距离。具体表现在:在数据布局方面,RAID仍然是单容错布局,不能适应大容量存储系统对可靠性的要求。在体系结构方面,RAID系统的集中式结构限制了它的性能、可靠性和可扩展性的提高。本文的工作是在充分调研和借鉴国内外相关工作成果的基础上完成的。本文提出了二级网络条纹(TNS: Two-Level Networked Stripe)多容错数据布局方法。与其它多容错数据布局相比,TNS数据布局具有下列优点:可靠性高,并且可以根据实际应用需要提高系统可靠性;采用两级校验单元散布的设计,提高了系统降级状态下的性能;系统配置灵活,实现简单、方便。 根据TNS数据布局的特点,本文提出了基于Linux PC Cluster结构的存储系统体系结构的设计方案——网络存储集群(NSS: Network Storage Cluster)系统。与其它系统设计相比,NSS系统的特点在于:可靠性高,可以容许多种组件同时故障,还可以实现数据容灾;采用层次型的软硬件组织结构,配置灵活方便;基于设备级实现,对上层应用是透明的,并且具有可扩展性。 在NSS系统的基础上,针对多媒体点播服务的特点,本文提出了存储系统条纹单元的两级粒度方式。它融合了现有的粗粒度和细粒度方式的优点,具有并发性能好,负载均衡,可靠性高,可扩展等特点,是一种适合于大规模点播服务器的较好的存储系统条纹的粒度方式。