收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

存储系统低能耗数据布局技术研究

岳银亮  
【摘要】:数字信息的爆炸性增长促使大规模存储系统的出现,磁盘以其大容量和低价格的优势成为数据存储的主要媒介。大量磁盘被组织起来以构建高性能、高可靠的海量存储系统。磁盘的机械特性使得磁盘存储系统成为数据中心能耗最主要的来源之一,能耗成本在数据中心总拥有成本中占据越来越高的比例,因此降低磁盘存储系统的能耗是降低数据中心总能耗进而降低其总拥有成本的关键。 磁盘的工作状态被分为活动、空闲和待机三种,磁盘响应I/O请求时必须处于活动状态。磁盘阵列的数据布局方式决定了到达每个磁盘的I/O请求的空间分布,进而决定了每个磁盘的工作状态和能耗。已有磁盘阵列数据布局方式要么未考虑存储系统的能耗,要么在降低存储系统能耗的同时在性能、可靠性等方面存在诸多不足。将固态盘引入存储系统虽然在随机读性能、能耗等方面能有明显的改善,但其物理特性又决定了其在小写性能和可擦写次数等方面存在天生的不足。因此,对磁盘阵列上的数据布局方式进行优化以构建高性能、高可靠、低能耗的海量存储系统是一项重要而紧迫的任务。 传统的日志数据分布方法将日志数据集中于专用日志盘上,使镜像盘周期性地切换到待机状态以节能,然而专用的日志盘使得存储系统存在单点失效、性能瓶颈和高能耗的问题。为此,提出了一种日志数据旋转分布方法RoLo和相应的分散式同步方法。RoLo将RAID10系统中镜像盘上的空闲空间组织成一个逻辑的日志空间池,通过将所有镜像盘的空闲空间轮流做为值日日志空间,并利用分散式同步将已使用的日志空间回收并重复利用,在有限的镜像盘空闲空间上构建一个逻辑上无限容量的日志空间。日志数据旋转分布方法未引入额外的日志磁盘,消除了传统日志数据分布方法下的性能瓶颈和单点失效瓶颈;相对较大的日志空间降低了磁盘启停的频率,不但延长了磁盘的寿命,也降低了存储系统的能耗。性能评估结果表明,日志数据旋转分布方法较RAID10节省高达47.2%的能量,较采用了传统日志数据分布方法的GRAID节省高达11.8%的能量。 传统的文件分布方式大多仅利用文件访问的时间局部性或空间局部性将文件集中于少量的磁盘上,而未充分挖掘和利用文件访问的双峰分布特点以及固态盘和磁盘之间在性能、可靠性和能耗方面的互补性来优化文件的布局。为此,提出了一个动态数据重分布方法LoRo来进一步降低由固态盘和磁盘构成的混合盘阵的能耗。LoRo利用存储系统I/O负载的局部性和双峰分布特点,将读请求定向到在随机读性能和能耗两方面均具有优势的固态盘上,而将写请求定向到在顺序写性能方面具有优势的磁盘上。动态数据重分布方法LoRo能够在降低混合存储系统能耗的同时提高性能。性能评估结果表明,动态数据重分布方法LoRo相较热点数据集中方法PDC可节省高达68.2%的能量。 通过将部分磁盘上的数据全部复制到其他磁盘上,使得部分磁盘切换到低能耗状态可以节能。但单存储卷基于数据复制的数据分布方法的节能效果不但受制于空闲存储空间容量,而且受制于存储负载强度,二者相互制约,限制了存储系统的节能。为此,提出了低能耗多卷文件分布优化方法AdapMig。其周期性地对多个存储卷上的文件进行重分布,最小化多个存储卷的总能耗,同时保持多存储卷的响应时间在预定的阈值之内。低能耗多卷文件分布优化方法首先对多卷文件分布进行建模,对文件的访问负载进行统计和预测,利用遗传算法对所设定的最优化目标进行求解,从而确定新的文件分布方式。低能耗多卷文件分布优化方法能够有效利用多存储卷上的空闲存储空间,在多存储卷内优化数据分布。实验结果表明,AdapMig较未采用多卷之间文件分布优化的PARAID可节省高达26.3%的能量。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 刘军;刘璟;;容许多个磁盘故障的RAID编码方法研究[J];微电子学与计算机;2011年08期
2 梓墨;;如何构建高清监控存储系统[J];中国公共安全(综合版);2011年06期
3 刘毅;;高清监控带给存储系统的挑战[J];中国公共安全(综合版);2011年06期
4 武国强;林宝军;张善从;;基于PCI Express的闪存存储系统设计[J];计算机工程;2011年18期
5 刘文杰;李凤岐;薛强;;混合模式存储系统在网络实验中的应用[J];实验技术与管理;2011年07期
6 杨玉糯;;高清监控存储系统的应用部署[J];中国公共安全(综合版);2011年06期
7 刘勇;刘丽;何王全;;面向众核多级访存资源的静态数据布局优化模型[J];计算机应用与软件;2011年07期
8 牛军;张勇军;任忠;;乌鲁木齐石化MES系统基础设施改造回顾[J];中国信息界;2011年07期
9 郭壮;;网络存储 方便你我 希捷发布BlackArmor和GoFlex Home两款NAS产品[J];微电脑世界;2011年07期
10 梁晓东;;郑州电视台高清制作网存储架构[J];河南科技;2011年15期
11 王韦华;江献军;;门诊系统存储解决方案[J];智能建筑;2009年07期
12 冯大辉;;架构师接龙 邝宇恒VS.侯震宇[J];程序员;2010年10期
13 范中磊;;面向云存储的归档方法[J];微电子学与计算机;2011年07期
14 赖怀军;;试析IDC存储系统的安全性建设[J];企业导报;2011年10期
15 施杨斌;吴杰;梁瑾;;云存储上的I/O特征获取机制[J];计算机工程与设计;2011年08期
16 李京桓;黄建国;王志刚;;PC北桥端高速采集存储系统研究[J];世界电子元器件;2011年07期
17 张涛;乔彦峰;李雪雷;王春霞;于晓波;;基于64位操作系统的超高速视频存储系统[J];液晶与显示;2011年04期
18 聂雪军;秦磊华;周敬利;刘科;朱建峰;王宇;;内容感知存储系统中自动分级存储模型研究[J];小型微型计算机系统;2011年06期
19 张清勇;苏明霞;;基于VW2010的视频存储系统的设计[J];电子产品世界;2011年09期
20 冯凯平;;大数据量“高效存储”新技术探析[J];价值工程;2011年19期
中国重要会议论文全文数据库 前10条
1 赵志刚;;存储系统在企业信息化中的应用[A];2005年安徽通信论文集[C];2006年
2 朱平;朱建涛;高剑刚;蒋金虎;;高性能计算存储关键技术研究[A];2010年第16届全国信息存储技术大会(IST2010)论文集[C];2010年
3 周博;宿绍莹;陈曾平;;基于CPCI总线的宽带雷达数据传输存储系统设计[A];全国第二届信号处理与应用学术会议专刊[C];2008年
4 周功业;周江;陈希;陈进才;;寄生存储原理及实现机制[A];第15届全国信息存储技术学术会议论文集[C];2008年
5 汪黎;章文嵩;杨学军;;Cfslight:一个新型的轻量级对象存储集群文件系统[A];2006年全国开放式分布与并行计算学术会议论文集(一)[C];2006年
6 聂明;;构建海量存储系统 提升媒体竞争力[A];中国新闻技术工作者联合会2008年学术年会论文集(下)[C];2008年
7 王克敏;张玺;胡江凯;王毅涛;;NWP资料归档方法及其存储系统的应用[A];中国气象学会2006年年会“中尺度天气动力学、数值模拟和预测”分会场论文集[C];2006年
8 刘湛明;吴柳坚;;数字电视台的建设[A];2007第二届全国广播电视技术论文集2(下)[C];2007年
9 罗香玉;李传佑;汪芸;;纠删码容错组的布局策略研究[A];第18届全国多媒体学术会议(NCMT2009)、第5届全国人机交互学术会议(CHCI2009)、第5届全国普适计算学术会议(PCC2009)论文集[C];2009年
10 郑湃;崔立真;王海洋;徐猛;;云计算环境下面向数据密集型应用的数据布局策略与方法[A];NDBC2010第27届中国数据库学术会议论文集A辑一[C];2010年
中国博士学位论文全文数据库 前10条
1 岳银亮;存储系统低能耗数据布局技术研究[D];华中科技大学;2010年
2 陆承涛;存储系统性能管理问题的研究[D];华中科技大学;2010年
3 聂雪军;内容感知存储系统中信息信息生命周期管理关键技术研究[D];华中科技大学;2011年
4 聂雪军;内容感知存储系统中信息生命周期管理关键技术研究[D];华中科技大学;2010年
5 王玉林;多节点容错存储系统的数据与缓存组织研究[D];电子科技大学;2010年
6 黄继鹏;高速高可靠小型数字视频存储系统的设计与实现[D];中国科学院研究生院(长春光学精密机械与物理研究所);2012年
7 毛波;盘阵列的数据布局技术研究[D];华中科技大学;2010年
8 刘军平;磁盘存储系统可靠性技术研究[D];华中科技大学;2011年
9 陈涛;大规模网络存储环境中的数据布局与查询优化技术研究[D];国防科学技术大学;2011年
10 宋伟;面向事务存储系统的容错技术研究[D];国防科学技术大学;2011年
中国硕士学位论文全文数据库 前10条
1 陆正武;面向流媒体应用存储系统的研究与实现[D];华中科技大学;2004年
2 杜睿;基于IP-SAN技术的石化企业数据集中存储系统的设计与实现[D];华东理工大学;2010年
3 金强;基于HBase的RDF存储系统的研究与设计[D];浙江大学;2011年
4 余智敏;数字化图书馆的数据存储技术的研究[D];武汉理工大学;2006年
5 陶博舟;磁盘阵列快照系统的设计与实现[D];华中科技大学;2007年
6 张小艳;基于嵌入式技术的USB存储系统的设计与实现[D];内蒙古大学;2011年
7 蒋亚群;基于DLX体系结构的微处理器核的设计与实现[D];中国人民解放军国防科学技术大学;2002年
8 亓伟;关系数据库存储子系统研究与实现[D];清华大学;2005年
9 宋迎迎;数字馆藏评价指标体系研究[D];郑州大学;2006年
10 袁晓铭;磁盘阵列系统的快照技术研究[D];华中科技大学;2007年
中国重要报纸全文数据库 前10条
1 本报记者 宋家雨;存储系统的弹性问题[N];网络世界;2008年
2 李佳;高清视频市场呼唤光纤存储系统[N];人民邮电;2010年
3 本报记者 郭平;同有飞骥自主研发统一存储系统[N];计算机世界;2010年
4 ;存储系统:SI和VAR成为厂商首选渠道[N];中国计算机报;2004年
5 ;浪潮NS3550存储系统[N];中国电子报;2005年
6 ;富士通存储系统全面升级[N];网络世界;2009年
7 ;日立 Thunder 9520V存储系统[N];电脑商报;2005年
8 刘平;浅谈企业存储系统[N];网络世界;2002年
9 长风;如何购买存储系统[N];网络世界;2003年
10 ;存储系统集成市场日趋成熟[N];人民邮电;2001年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978