收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

大规模存储系统高可靠性关键技术研究

罗东健  
【摘要】:互联网环境下,每18个月新产生的数据量等于有史以来数据量之和。信息资源量的爆炸性增长,使人们对存储系统的存储容量、数据信息可用性、I/O性能等方面的要求越来越高。越来越多的大规模存储系统被制造出来并投入使用,其中大量的存储系统是采用性价比优秀的PC来搭建。在这样的大规模存储系统中,各组成部件失效经常发生,并引发存储系统中存储数据的丢失和损坏。因此,随着规模的膨胀,存储系统的可靠性问题变得越来越重要。要确保大规模存储系统的可靠性和数据可用性,就需要对高可靠存储系统涉及的关键技术进行研究。 本文首先给出了一个高可靠存储系统的系统结构,在此基础上,提出了基于数据副本的自适应高可靠布局,适合于存储系统数据容错应用的短LDPC编码,基于失效预测的数据恢复机制PBDR。本文的主要工作有: (1)副本的放置策略涉及到大规模存储系统数据布局的冗余性和公平性。针对副本数据布局中存储系统的可靠性和数据的可用性问题,采用整数规划的形式描述了大规模存储系统中面向不同可靠性等级的存储设备进行数据布局的优化问题,并说明了这个问题是NP难的。进而设计了一种基于贪婪算法的高效数据分布算法,优化了存储节点可靠性的总代价和数据布局的公平性。 (2)为优化存储系统多副本数据布局方案,设计了一个基于Markov模型的衡量系统可靠性的理论模型—VRDL模型(Variable Rank Data Layout模型)。通过VRDL模型可以衡量存储系统关键参数如副本阶数、系统规模、存储节点容量、失效检测延迟等一系列因素对存储系统可靠性的影响,从而为高可靠存储系统的设计提供理论指导。 (3)将纠删码编码理论应用于大规模存储系统的存储节点失效应对策略中,建立了多存储节点环境下的纠删码容错编码模型,提出了一个针对多个存储节点失效场景下的基于纠删码的短LDPC码编码方案。此编码方案在确保大规模存储系统中存储节点数据高可用性的同时,还能提供优于RS码的读写性能。 (4)由于硬盘容量的增长速度快于硬盘I/O传输带宽的增长速度导致了硬盘数据重构时间不断增长。这就使得存储系统的脆弱窗口时间也越来越长,增加了存储系统发生数据丢失的可能性。本文对存储节点组三种数据冗余机制:二路镜像,三路镜像和RAID5镜像构成的存储系统的失效数据恢复机制进行了分析讨论。进一步提出了一种基于失效预测的数据恢复机制PBDR (Prediction Based数据恢复机制,PBDR),在存储设备失效发生前,利用存储系统中空闲的存储节点资源,提前进行数据重构工作,可进一步提高存储系统的可靠性。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 涂兰敬;;神龙变身业界巨龙[J];软件世界;2009年01期
2 ;光明日报社的无忧存储[J];软件世界;2009年02期
3 张询;速度快容量大的新型存储系统[J];世界电子元器件;1997年09期
4 杨春燕;用SAN构筑现代企业信息存储系统的优势[J];内蒙古电力技术;2002年S1期
5 ;专家观点[J];中国计算机用户;2006年43期
6 ;HDS AMS 2000系列的创新之道[J];通信世界;2009年08期
7 金文新;;大型高校图书馆计算机网络集成系统建设[J];情报科学;2009年04期
8 李静;;浅谈HIS系统对服务器和存储设备的要求及设计方案[J];信息与电脑(理论版);2009年11期
9 王良莹;;数字时代背景下的信息存储技术变迁[J];光盘技术;2009年11期
10 于耳;;建立面向应用的存储系统[J];中国教育网络;2011年06期
11 ;数字视频存储系统[J];光学精密工程;1977年06期
12 张明明;;为信息传输设备保驾护航——访EMC公司中国区产品经理马永亨先生[J];上海微型计算机;1998年Z1期
13 赵晨;;EMC Symmetrix优化SAP R/3系统[J];计算机与网络;1998年09期
14 陈翔,张江陵;网络逻辑存储系统研究[J];小型微型计算机系统;1999年11期
15 贺昆;为M50436-560SP遥控频道存储系统增加预选频道一例[J];实用影音技术;2000年07期
16 高云;广播电视节目数字化存储系统的选择与实现[J];广播与电视技术;2001年11期
17 王琨月;;服务不能软——访IBM亚太区网络及存储系统部副总裁Paul Moung[J];每周电脑报;2001年09期
18 马天蔚;;存储:存出巨无霸[J];每周电脑报;2001年54期
19 ;松下半导体存储系统DVCPRO P2[J];中国电化教育;2004年06期
20 李建;;存储器系统浅析[J];中国科技信息;2006年01期
中国重要会议论文全文数据库 前10条
1 赵志刚;;存储系统在企业信息化中的应用[A];2005年安徽通信论文集[C];2006年
2 朱平;朱建涛;高剑刚;蒋金虎;;高性能计算存储关键技术研究[A];2010年第16届全国信息存储技术大会(IST2010)论文集[C];2010年
3 周博;宿绍莹;陈曾平;;基于CPCI总线的宽带雷达数据传输存储系统设计[A];全国第二届信号处理与应用学术会议专刊[C];2008年
4 周功业;周江;陈希;陈进才;;寄生存储原理及实现机制[A];第15届全国信息存储技术学术会议论文集[C];2008年
5 汪黎;章文嵩;杨学军;;Cfslight:一个新型的轻量级对象存储集群文件系统[A];2006年全国开放式分布与并行计算学术会议论文集(一)[C];2006年
6 孙勇;徐清峻;;浅谈山东高速收费系统的数据存储、备份及恢复[A];第二届中国智能交通年会论文集[C];2006年
7 聂明;;构建海量存储系统 提升媒体竞争力[A];中国新闻技术工作者联合会2008年学术年会论文集(下)[C];2008年
8 黄晓峰;张杰;;矿井信息中心存储系统设计[A];安全高效矿井机电装备及信息化技术——陕西省煤炭学会学术年会论文集(2011)[C];2011年
9 王克敏;张玺;胡江凯;王毅涛;;NWP资料归档方法及其存储系统的应用[A];中国气象学会2006年年会“中尺度天气动力学、数值模拟和预测”分会场论文集[C];2006年
10 刘湛明;吴柳坚;;数字电视台的建设[A];2007第二届全国广播电视技术论文集2(下)[C];2007年
中国博士学位论文全文数据库 前10条
1 罗东健;大规模存储系统高可靠性关键技术研究[D];华中科技大学;2011年
2 姜明华;基于冗余智能存储通道的存储系统关键技术研究[D];华中科技大学;2011年
3 陆承涛;存储系统性能管理问题的研究[D];华中科技大学;2010年
4 聂雪军;内容感知存储系统中信息信息生命周期管理关键技术研究[D];华中科技大学;2011年
5 聂雪军;内容感知存储系统中信息生命周期管理关键技术研究[D];华中科技大学;2010年
6 王玉林;多节点容错存储系统的数据与缓存组织研究[D];电子科技大学;2010年
7 施展;基于本体的存储系统管理研究[D];华中科技大学;2011年
8 黄继鹏;高速高可靠小型数字视频存储系统的设计与实现[D];中国科学院研究生院(长春光学精密机械与物理研究所);2012年
9 岳银亮;存储系统低能耗数据布局技术研究[D];华中科技大学;2010年
10 金超;容错存储系统的结构优化技术研究[D];华中科技大学;2011年
中国硕士学位论文全文数据库 前10条
1 陆正武;面向流媒体应用存储系统的研究与实现[D];华中科技大学;2004年
2 杜睿;基于IP-SAN技术的石化企业数据集中存储系统的设计与实现[D];华东理工大学;2010年
3 金强;基于HBase的RDF存储系统的研究与设计[D];浙江大学;2011年
4 余智敏;数字化图书馆的数据存储技术的研究[D];武汉理工大学;2006年
5 陶博舟;磁盘阵列快照系统的设计与实现[D];华中科技大学;2007年
6 张小艳;基于嵌入式技术的USB存储系统的设计与实现[D];内蒙古大学;2011年
7 蒋亚群;基于DLX体系结构的微处理器核的设计与实现[D];中国人民解放军国防科学技术大学;2002年
8 亓伟;关系数据库存储子系统研究与实现[D];清华大学;2005年
9 宋迎迎;数字馆藏评价指标体系研究[D];郑州大学;2006年
10 袁晓铭;磁盘阵列系统的快照技术研究[D];华中科技大学;2007年
中国重要报纸全文数据库 前10条
1 朗飞;IBM“冰立方”就像搭积木[N];中国计算机报;2006年
2 郭涛;MediaGrid既不是SAN也不是NAS[N];中国计算机报;2007年
3 本报记者  张峰;知己知彼建存储(上)[N];网络世界;2006年
4 森林;NAS资源存储系统[N];中国电脑教育报;2002年
5 Hifn(汉帆)杭州信息技术有限公司 马剑杰;自动精简配置:提升存储利用率有绝招[N];中国计算机报;2009年
6 ;IBM收购存储解决方案公司[N];计算机世界;2007年
7 本报记者 徐恒;面临机遇 中国新型存储业合作求创新[N];中国电子报;2011年
8 李想 徐晋;福州电业局研发个人文件安全存储系统[N];中国电力报;2006年
9 谢培红;4Gb光纤新品向存储高端跨越[N];科技日报;2006年
10 ;HDS推出企业入门级存储系统[N];计算机世界;2005年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978