收藏本站
《华中科技大学》 2006年
收藏 | 手机打开
二维码
手机客户端打开本文

进化存储系统中的逻辑和物理进化研究

刘艳  
【摘要】: 现有存储系统物理和逻辑的组织是一种静态的结构,而静态组织结构模型不能很好地刻画处于不断变化之中的系统,此外,现有存储系统缺少适应不断变化的存储要求的机制。这种结构往往只适合于特定的应用需要。针对现有存储系统存在的问题,进化存储系统(Evolving Storage System,ESS)主要从如何构建一个动态的、适应外部应用不断变化的存储系统的组织结构,采用何种数据分布优化策略,以及系统对于新部件替换和添加的策略进行探讨和研究,致力于给用户提供一个高容量、高性能、高可用、可扩展的,能够适应多种负载特征的存储系统。 根据“进化存储系统”的概念和思想,并基于IEEE开放存储系统互连参考模型(IEEE Open Storage System Interconnection Reference Model, OSSI Model)建立的ESS系统体系结构视图,详细描述了ESS存储系统各部件的功能,便于该系统的软件实现。ESS系统中的进化策略可分为物理进化和逻辑进化。为设计和实现ESS系统,需要解决的几个问题是:(1)ESS系统采用何种体系结构,以有效地管理中/大规模数目的磁盘、服务于大范围特征的负载(2)ESS系统如何调整数据的分布,以适应系统工作负载的动态变化(3)如何用异构磁盘替换系统中的失效磁盘,以及如何向系统添加新的磁盘,实现ESS系统的物理进化。 磁盘阵列(RAID)利用多个磁盘的并行工作来提高存储子系统的I/O性能,并采用数据冗余策略来保证可用性。为了适应对存储子系统容量和性能有很高要求的应用的飞速发展,ESS系统依旧必须采用RAID技术,同时,ESS系统借鉴集群文件系统中分布式虚拟磁盘的概念,提出了一种可动态调节的、由自适应的阵列单元构成的系统结构——ESS系统把所有系统磁盘构建成若干个结构与传统阵列完全相同的“子”RAID(SubRAID),这些SubRAID共同组成一个全局的存储空间;但各SubRAID可以根据其组成磁盘的数目、容量、性能、以及所服务负载的特点不同而采用不同的数据分布方式和性能优化策略。因此,通过结构不同的SubRAID服务不同的应用请求,整个ESS系统能够对各个用户表现出更佳的性能。 为了给应用提供更好的服务质量,存储系统数据的组织和分布需要随着外在的数据流输入输出的变化而变化。ESS系统采用“两级”的数据迁移策略,即先通过SubRAID内部的数据迁移来对负载波动作出响应,更大幅度的负载变化则通过数据在SubRAID之间的动态迁移来适应。SubRAID内部的数据迁移策略基于PMSH算法,该算法利用多分区磁盘具有远轴心区数据传输率较高的特点,根据分条单元的“热度”,动态地将访问率高的分条单元迁移到其所在磁盘的数据传输率较高的分区; SubRAID间的数据动态迁移策略根据用户负载请求大小、读写请求比率的不同将数据迁移到组成磁盘数目、容量、性能、以及数据分布方式和性能优化策略不同的SubRAID,因此通过数据在SubRAID内部和SubRAID之间的动态迁移,ESS系统数据的组织以及整个系统中各种不同属性数据的分布可以随着外在的数据流输入输出的变化而相应改变,实现ESS系统数据逻辑进化。 进化存储系统要克服的一个主要矛盾是元部件飞速发展和存储系统整体结构相对固定的矛盾,目前结构的存储系统不会由于更新了部件而得到整体性能的提高。ESS存储系统主要考虑的元部件是系统磁盘。磁盘技术的迅速发展以及应用对存储系统的容量和性能的要求日益增加使存储系统中的磁盘呈现三种类型的动态变化:同构磁盘的添加、异构磁盘的添加以及异构磁盘的替换。ESS系统的可扩展性和磁盘的异构性使其能很好地适应磁盘的动态变化,分别采用DAA、HDAA、e-HDAA算法来适应三种类型的磁盘动态变化,在不给运行的存储系统带来太大的开销的前提下添加(同构或异构)磁盘或替换异构磁盘,并充分利用添加或替换后的磁盘,获得优化的存储容量和存储性能,实现ESS存储系统物理进化。
【学位授予单位】:华中科技大学
【学位级别】:博士
【学位授予年份】:2006
【分类号】:TP333

【引证文献】
中国硕士学位论文全文数据库 前1条
1 刘马良;RAID磁盘自愈及数据主动迁移技术的研究与实现[D];华中科技大学;2009年
【参考文献】
中国期刊全文数据库 前1条
1 靳超,郑纬民,张悠慧;主动存储系统结构[J];计算机学报;2005年06期
【共引文献】
中国期刊全文数据库 前3条
1 马俊;王志英;任江春;刘聪;伍江江;程勇;梅松竹;;TRSF:一种移动存储设备主动防护框架[J];电子学报;2012年02期
2 邹强;冯丹;曹炬;田磊;曾令仿;;一种基于对象的多媒体存储系统优化策略[J];计算机科学;2008年12期
3 刘霖;赵跃龙;李成艺;;基于IND的智能存储系统[J];计算机应用研究;2007年08期
中国博士学位论文全文数据库 前1条
1 马俊;面向内部威胁的数据泄漏防护关键技术研究[D];国防科学技术大学;2011年
中国硕士学位论文全文数据库 前3条
1 刘霖;智能网络磁盘(IND)存储系统硬件平台研究与设计[D];中南大学;2007年
2 冉茂虎;基于思想政治网站及时反馈系统的开发[D];贵州大学;2009年
3 庞震;入侵检测系统研究[D];复旦大学;2010年
【同被引文献】
中国期刊全文数据库 前10条
1 周向阳,董超群;磁盘阵列设计中几个问题的探讨[J];电子计算机外部设备;1996年06期
2 陈凯,白英彩;网络存储技术及发展趋势[J];电子学报;2002年S1期
3 谢长生,陈宁,万继光;统一存储网数据迁移系统的设计与实现[J];华中科技大学学报(自然科学版);2005年04期
4 林建民;嵌入式操作系统技术发展趋势[J];计算机工程;2001年10期
5 谢长生,王宇德,曹强;进化存储系统的研究[J];计算机工程;2004年22期
6 熊伟,王刚,刘璟;基于Linux系统的容双故障软磁盘阵列平台Deraid[J];计算机工程;2005年08期
7 刘景宁;饶国林;冯丹;;一种基于S.M.A.R.T的保障RAID数据高可靠性的方法[J];计算机工程与科学;2007年05期
8 韩德志,谢长生,李怀阳;存储备份技术探析[J];计算机应用研究;2004年06期
9 金海,张江陵,周欣荣;磁盘阵列技术及其发展趋势[J];微处理机;1995年02期
10 任劲,谢长生,李为;iSCSI协议及其Linux下的实现[J];小型微型计算机系统;2003年07期
中国硕士学位论文全文数据库 前1条
1 李明;基于光纤通道的磁盘阵列系统的研究与设计[D];华中科技大学;2006年
【相似文献】
中国期刊全文数据库 前10条
1 王宇德;谢长生;姜国松;陆正武;;一种自适应存储系统的研究与设计[J];小型微型计算机系统;2008年10期
2 李旭;谢长生;万继光;魏沁祺;;基于ESS自适应数据迁移的研究与实现[J];小型微型计算机系统;2007年02期
3 贺少领;;存储虚拟化技术研究[J];电脑知识与技术;2011年22期
4 黄晨;信息革命带来存储时代[J];情报杂志;2002年08期
5 杨军农;大容量存储设备——磁盘阵列[J];湖北邮电技术;2002年04期
6 宋宝莉;网络存储系统的设计与实现[J];电脑与信息技术;2003年06期
7 张弦;古墓丽影(一)Tomb Raider[J];电脑技术;1997年05期
8 阿威;Chinaren遭遇Raid[J];互联网周刊;2001年03期
9 冯丽华;浅谈非线性编辑系统及RAID技术[J];吉林粮食高等专科学校学报;2003年02期
10 张子强;浅谈RAID技术与硬盘存储技术的发展[J];中国有线电视;2003年05期
中国重要会议论文全文数据库 前10条
1 徐伟;王敏;孟晓烜;卜庆忠;许鲁;;使用备份加速RAID5数据重构[A];第15届全国信息存储技术学术会议论文集[C];2008年
2 潘红;何冶兰;;RAID几种工作模式的探讨[A];湖北省通信学会、武汉通信学会2009年学术年会论文集[C];2009年
3 刘军平;周可;雷栋梁;庞丽萍;;基于随机理论的RAID可靠性仿真方法[A];2010年第16届全国信息存储技术大会(IST2010)论文集[C];2010年
4 罗朝鹏;宿绍莹;张月;陈曾平;;基于FPGA的脱机RAID0控制器的设计与实现[A];全国第一届信号处理学术会议暨中国高科技产业化研究会信号处理分会筹备工作委员会第三次工作会议专刊[C];2007年
5 蒋学;黄瑞;刘璟;;基于访问统计和数据迁移的热点问题处理[A];第二十二届中国数据库学术会议论文集(技术报告篇)[C];2005年
6 赵钦;周丹;;政府办公自动化信息系统数据迁移的解决方案[A];广西计算机学会2008年年会论文集[C];2008年
7 赵晓南;李战怀;曾雷杰;张晓;;分级存储管理技术研究[A];2010年第16届全国信息存储技术大会(IST2010)论文集[C];2010年
8 张峰;塔依尔;许涛;;自动带库存储管理软件在地震资料处理中的应用[A];第六届全国计算机应用联合学术会议论文集[C];2002年
9 刘静秋;;Informix数据迁移方法探讨[A];2007中国科协年会——通信与信息发展高层论坛论文集[C];2007年
10 廖利辉;姜彤;李静;;数据库间数据迁移和数据共享的实现[A];中国高等学校电力系统及其自动化专业第二十四届学术年会论文集(中册)[C];2008年
中国重要报纸全文数据库 前10条
1 ;DMM实现异构迁移[N];网络世界;2006年
2 张小西;避免数据迁移延期[N];网络世界;2007年
3 ;集中完成备份与数据迁移[N];计算机世界;2003年
4 致远;当数据迁移遇到ERP升级[N];财会信报;2005年
5 记者 饶慧敏 通讯员 周锦顺;广东局顺利完成第一阶段数据迁移[N];中国国门时报;2005年
6 胡建光 吴 鸣;深圳检验检疫局成功实现数据迁移[N];中国国门时报;2004年
7 黄文宇 谢勇;企业级数据中心的数据迁移与灾难备份[N];金融时报;2003年
8 ;数据迁移“完美风暴”[N];网络世界;2003年
9 本报记者 郭平;为“静态”数据安新“家”[N];计算机世界;2003年
10 郭涛;数据迁移 保证医疗数据安全可用[N];中国计算机报;2003年
中国博士学位论文全文数据库 前10条
1 刘艳;进化存储系统中的逻辑和物理进化研究[D];华中科技大学;2006年
2 李怀阳;进化存储系统数据组织模式研究[D];华中科技大学;2006年
3 王宇德;海量存储系统中数据分布进化及其关键技术的研究[D];华中科技大学;2010年
4 王宇德;海量存储系统中数据分布化及其关键技术的研究[D];华中科技大学;2010年
5 金超;容错存储系统的结构优化技术研究[D];华中科技大学;2011年
6 刘晓光;二级网络条纹数据布局及其相关问题的研究[D];南开大学;2002年
7 王志坤;树结构磁盘阵列组织策略及关键技术研究[D];华中科技大学;2010年
8 杨峰;分布式并行索引研究[D];电子科技大学;2003年
9 李旭;系统级数据保护技术研究[D];华中科技大学;2008年
10 罗益辉;海量对象存储系统数据组织算法的研究[D];华中科技大学;2006年
中国硕士学位论文全文数据库 前10条
1 宋戈;RAID后台一致性初始化技术的研究与实现[D];重庆大学;2010年
2 胡荣东;RAID系统纠删码技术研究[D];国防科学技术大学;2009年
3 林卫华;银行计算机系统数据迁移与系统停机的研究与应用[D];吉林大学;2011年
4 陈健;卓越亚马逊新旧系统的数据迁移研究[D];电子科技大学;2009年
5 唐竟;基于信息生命周期管理的数据迁移技术研究[D];湖南大学;2009年
6 李欣;DURO:一种针对RAID-6单盘失效在线重构方法的研究[D];华中科技大学;2011年
7 吴升启;基表加扩展表多租户数据存储及数据迁移的研究[D];山东大学;2012年
8 耿秀军;RAID控制卡PCI扩展ROM的设计与实现[D];电子科技大学;2011年
9 韩剑峰;可配置化数据迁移框架的研究与实现[D];上海交通大学;2011年
10 杜溢墨;闪存存储系统中的RAID机制研究[D];国防科学技术大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026