收藏本站
《华中科技大学》 2006年
收藏 | 手机打开
二维码
手机客户端打开本文

进化存储系统数据组织模式研究

李怀阳  
【摘要】: 用于网络环境下的企业级海量存储系统面临如下挑战:数字化信息爆炸性增长、数据的重要性和安全性日益增加、大数量的用户群和多媒体的应用对存取性能产生巨大压力、24×7的服务需求要求极高的可用性和可维护性。现有的技术如高性能存储磁盘阵列、附网存储、存储区域网等有着各自的优势同时有着自身的不足。问题存在的原因是现有存储系统物理和逻辑的组织是一种静态的结构,而静态组织结构模型不能很好地刻画处于不断变化之中的系统。这种结构往往只适合于特定的应用需要,而且缺少适应不断变化的存储要求的机制。 为此,我们基于进化存储的概念及关键思想,将进化的策略化分为物理进化和逻辑进化,详细讨论了物理进化和逻辑进化实现的主要思路,对进化存储系统的硬件体系结构和软件结构进行了深入的研究,并指出为实现进化存储系统需要解决的四个问题。 进化存储系统要求存储系统中数据的组织以及整个系统中各种不同属性数据的分布可以随着外在的数据流输入输出的变化而相应改变,以期获得最好的系统性能。为了实现此目标,需要获得在某一段时间内工作负载的分布形式,并预测未来某一段时间工作负载的分布形式。为解决这个问题,我们从两个方面入手:一是提出了基于连续度的I/O聚类算法,它能高效、可靠的发现密集I/O访问的区域;其次是根据I/O请求局部性的特征,利用ARMA时间序列模型来预测未来密集I/O可能访问的区域。为提高预测的准确性,提出了动态参数估计的策略,使得预测值的匹配率达到很高的比例,能充分指导对存储系统的调节。同时根据进化存储系统的数据分布特点,利用所获取的I/O区域特征,在系统空闲时刻一次性的预取下一个时刻所有的读请求的数据来改善系统的性能。 现有关于存储系统中优化组织结构和数据分布的研究基本上是采用将请求的热点区域迁移到能提供更好性能区域的策略,这必然会导致数据映射关系的复杂,并最终使得系统数据映射机制成为系统性能的瓶颈。为此我们根据所获取的负载特性设计了一种为适合不同工作负载特性动态转换的组织结构及数据分布转换策略,它能最大限度的减少因组织结构及数据分布转换而导致的数据迁移。为减少映射机制的复杂性和服务器的负载,并根据进化存储系统的特点,采用了两级映射机制来提高数据映射的效率。 为获得数据分布转换的门限,我们通过分析闭环Fork-Join排队网络模型和存储系统的读写行为,推导出了磁盘阵列的通用的平均响应时间模型。在此基础上推导出了不同RAID级别在各种I/O负载情况下的平均响应时间,计算出在不同工作负载情况下的RAID转换门限和最优条带单元大小调节门限。 在进化存储系统中,随时存在着大量的数据迁移,有可能在数据迁移过程中出现对数据的更新情况,此时会产生数据的一致性问题。同时,在进化存储系统中的海量数据是非常宝贵的资源,如何保证这些时间的可用性也是必须面对的问题。我们根据进化存储系统的系统结构特点,实现了进化存储系统的快照和备份技术,使得存储节点之间在无需服务器参予情况下进行无“备份窗口”的备份和高性能的数据迁移,较大的提高了存储系统的可用性和备份性能。
【学位授予单位】:华中科技大学
【学位级别】:博士
【学位授予年份】:2006
【分类号】:TP333

手机知网App
【相似文献】
中国期刊全文数据库 前10条
1 王宇德;谢长生;姜国松;陆正武;;一种自适应存储系统的研究与设计[J];小型微型计算机系统;2008年10期
2 董晓明;谢长生;;基于对象的进化存储系统研究[J];计算机科学;2005年11期
3 ;[J];;年期
4 ;[J];;年期
5 ;[J];;年期
6 ;[J];;年期
7 ;[J];;年期
8 ;[J];;年期
9 ;[J];;年期
10 ;[J];;年期
中国博士学位论文全文数据库 前4条
1 刘艳;进化存储系统中的逻辑和物理进化研究[D];华中科技大学;2006年
2 李怀阳;进化存储系统数据组织模式研究[D];华中科技大学;2006年
3 王宇德;海量存储系统中数据分布化及其关键技术的研究[D];华中科技大学;2010年
4 王宇德;海量存储系统中数据分布进化及其关键技术的研究[D];华中科技大学;2010年
中国知网广告投放
相关机构
>华中科技大学
相关作者
>王宇德 >刘艳
>李怀阳
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026