收藏本站
《华中科技大学》 2006年
收藏 | 手机打开
二维码
手机客户端打开本文

海量对象存储系统数据组织算法的研究

罗益辉  
【摘要】: 在网络存储系统中,数据的组织优化是提高存储系统性能的有效方法之一。合理的数据组织算法可提高存储系统的性能,使存储系统具有高可靠性、可用性和可扩展性。网络存储系统中的数据组织包括两个方面的内容:存储空间的数据组织和传输路径上的数据组织。存储空间的数据组织利用存储节点间的并行性,提高存储系统的I/O性能,通过不同存储节点的数据副本提高数据的可靠性和可用性;传输路径上的数据组织则是通过传输路径上的Cache合理配置和替换算法的选择,达到提高I/O性能的目的。本文根据对象存储系统的特点,研究数据组织的算法及相关问题,包括以下几方面的内容: 对象存储区别于其它网络存储系统之处在于它将文件系统的存储管理和用户管理分离,存储管理由存储节点来完成,而用户管理则通过元数据服务器来实现。这种功能的分离使得元数据服务器成为瘦服务器,便于存储系统的扩展。对象有丰富的语义,通过对象的语义,对象存储为存储系统提供安全保障,还可以为应用提供基于QoS的I/O服务。对象存储系统的体系结构使其有两种数据传输模式:NAS模式和三方传送模式,传输模式结合Cache方案可达到提高存储系统性能的目的。对象存储系统的存储空间的数据组织就是要实现数据对象在存储节点间按存储节点的容量分布,数据组织算法应尽可能减小算法的时间和空间开销,同时要保证算法适应存储系统的扩展,为此,设计了一种数据定位算法及扩展数据迁移算法。算法有以下特点:将存储节点分组,采用组间按容量分布和组内均匀分布的机制实现数据按容量分布;算法采用映射函数实现用户空间到存储空间的映射,使得算法的时间开销和空间开销最小;算法的适应性则通过记录系统的扩展信息来实现;相应的扩展迁移算法则保证系统扩展引起的数据迁移量最小。 应用要求存储系统提供基于QoS的I/O服务,而数据迁移对存储系统的服务质量有影响。通过对基于QoS的I/O服务模型的分析,定义迁移任务附加收益,并将迁移任务细分为迁移请求,在此基础上建立一个基于QoS的数据迁移模型,并设计出相应的最大收益迁移调度算法。实验表明,该迁移调度算法对I/O服务质量的影响小于常用的迁移算法。 数据传输路径上的数据组织涉及到Cache替换算法,而Cache替换算法的好坏标准是存储系统的性能是否提高。通过对对象存储系统的加速比进行分析得出结论:Cache对存储系统的性能改善不仅与Cache命中率有关,还与数据对象的设备访问时间有关。根据这一结论,设计出两种Cache替换算法:LAT算法和WLFRU算法。LAT算法选择Cache中设备访问时间短、命中率低的数据对象作为替换的对象;WLFRU算法则通过对访问频率的加权达到同时考虑访问的局部性和数据对象的访问成本的目的。两种算法的性能都优于常用的LRU算法。 数据传输路径上的Cache设置必须结合数据的访问特点,而对象存储系统的三种实体的特点各不相同,所以,它们的Cache方案也各不相同。根据存储节点的读写速度慢的特点,将其Cache设置为预取Buffer和写Buffer,前者利用预取缩短数据对象的读响应时间,后者通过延迟写,及时响应写请求。元数据服务器和客户端的Cache方案则和数据传送模式相联系,元数据服务器Cache在负载轻时缓存小数据对象,而客户端的Cache除了对两类数据对象都缓存外,还使用磁盘Cache积累采用三方传送的数据对象,达到减少网络通信量的目的。实验显示三类Cache的设置有助于存储系统的性能改善。
【学位授予单位】:华中科技大学
【学位级别】:博士
【学位授予年份】:2006
【分类号】:TP333

手机知网App
【相似文献】
中国期刊全文数据库 前10条
1 卢益阳;;分布式存储系统调查[J];企业科技与发展;2011年16期
2 林耀立;;试论基于对象存储的新型网络GIS体系[J];信息与电脑(理论版);2011年06期
3 ;[J];;年期
4 ;[J];;年期
5 ;[J];;年期
6 ;[J];;年期
7 ;[J];;年期
8 ;[J];;年期
9 ;[J];;年期
10 ;[J];;年期
中国重要会议论文全文数据库 前10条
1 江雯;郑振楣;石树刚;;复杂对象存储的缓冲技术[A];第十一届全国数据库学术会议论文集[C];1993年
2 朱立谷;孙志伟;任勇;张雷;彭建峰;杨柳;阳小珊;李强;;基于内容的对象存储技术的研究[A];第15届全国信息存储技术学术会议论文集[C];2008年
3 单颖;姚念民;赵建明;;基于对象存储系统体系结构的研究[A];第15届全国信息存储技术学术会议论文集[C];2008年
4 汪黎;章文嵩;杨学军;;Cfslight:一个新型的轻量级对象存储集群文件系统[A];2006年全国开放式分布与并行计算学术会议论文集(一)[C];2006年
5 郭宁;;嵌入式系统存储机制的设计与实现[A];全国第十届企业信息化与工业工程学术年会论文集[C];2006年
6 冯振乾;苏金树;张晓哲;;对象存储研究[A];计算机技术与应用进展·2007——全国第18届计算机技术与应用(CACIS)学术会议论文集[C];2007年
7 肖亮;谢长生;魏沁祺;李馨;;基于属性控制的对象存储系统[A];2008'中国信息技术与应用学术论坛论文集(二)[C];2008年
8 刘景宁;王晓静;童薇;时洋;冯丹;;对象存储器中光纤通道驱动程序设计与优化[A];第15届全国信息存储技术学术会议论文集[C];2008年
9 朱立谷;周世正;谢长生;;实现存储与内容管理的结合[A];第二届全国信息检索与内容安全学术会议(NCIRCS-2005)论文集[C];2005年
10 孙志伟;朱立谷;任勇;;Internet CAS存储协议的研究[A];第15届全国信息存储技术学术会议论文集[C];2008年
中国重要报纸全文数据库 前10条
1 ;保证高伸缩性的对象存储[N];网络世界;2003年
2 国防科学技术大学计算机学院 吴庆波 董勇 周恩强;对象存储不给高性能计算添堵[N];中国计算机报;2005年
3 北京捷华润公司 郝常杰;对象存储:块和文件之外的存储形式[N];中国计算机报;2006年
4 Henry Newman沈建苗 编译;存储市场将“软硬兼施”[N];计算机世界;2008年
5 中国传媒大学计算机学院 朱立谷柳昊 孙志伟 郅斌;非结构化数据的归档术[N];中国计算机报;2007年
6 郝常杰 编译 胡家鎏教授 指导;Panasas ActiveScale存储集群详解[N];中国计算机报;2007年
7 华中科技大学信息存储系统教育部重点实验室 谢长生曹强;网络存储:“绿色”和虚拟化唱主角[N];计算机世界;2008年
8 中兴通讯;云存储铺就海量数据之路[N];通信产业报;2011年
9 华中科技大学信息存储系统教育部重点实验室 朱立谷 曹强 谢长生;智能存储管理:技术与概念的博弈[N];计算机世界;2004年
10 华中科技大学信息存储系统教育部重点实验室 韩德志 蔡斌 罗益辉 张成峰;创新技术应对存储挑战[N];计算机世界;2004年
中国博士学位论文全文数据库 前9条
1 罗益辉;海量对象存储系统数据组织算法的研究[D];华中科技大学;2006年
2 刘仲;基于对象存储结构的可伸缩集群存储系统研究[D];国防科学技术大学;2005年
3 谭支鹏;对象存储系统副本管理研究[D];华中科技大学;2008年
4 吴峰光;Linux内核中的预取算法[D];中国科学技术大学;2008年
5 肖亮;基于服务质量的对象存储优化研究[D];华中科技大学;2009年
6 余利华;分布式数据存储和处理的若干技术研究[D];浙江大学;2008年
7 吴晨涛;对象存储系统中热点数据的研究[D];华中科技大学;2010年
8 孙照焱;基于生物免疫机制的附网存储关键技术研究[D];清华大学;2004年
9 吴伟;海量存储系统元数据管理的研究[D];华中科技大学;2010年
中国硕士学位论文全文数据库 前10条
1 李柱;分布式文件系统小文件性能优化技术研究与实现[D];国防科学技术大学;2008年
2 黎明;基于对等网的广域对象存储系统研究[D];清华大学;2004年
3 李相娜;基于LDAP的元数据服务器集群的研究与实现[D];华中科技大学;2007年
4 钱鑫;基于对象存储设备目标器的设计与实现[D];华中科技大学;2007年
5 时洋;光纤通道适配器驱动程序设计与研究[D];华中科技大学;2007年
6 邹丹;基于对象存储的固态盘存储加速技术研究[D];国防科学技术大学;2008年
7 赵水清;基于对象客户端文件系统的设计及关键技术[D];华中科技大学;2007年
8 李良刚;对象存储中高可靠性和安全机制的研究[D];华中科技大学;2007年
9 张伟;对象存储系统中数据通道的设计与实现[D];华中科技大学;2008年
10 张敏;基于对象存储文件系统研究[D];电子科技大学;2012年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026