收藏本站
《国防科学技术大学》 2005年
收藏 | 手机打开
二维码
手机客户端打开本文

基于对象存储结构的可伸缩集群存储系统研究

刘仲  
【摘要】:随着处理器和网络技术的飞速发展,大大的提高了Linux集群计算的计算能力。Linux集群计算在高性能科学计算、商业应用和海量信息服务等领域得到了广泛应用,逐渐发展成为高性能计算中的流行方法。而受传统存储结构的限制,其计算能力得不到充分体现。构建满足Linux集群计算需求的可伸缩、高性能、跨平台、安全、共享数据的存储结构对现有的存储结构提出了巨大的挑战。 新兴的对象存储结构能够利用现有的处理技术、网络技术和存储组件提供空前的可伸缩性和聚合吞吐量,为构建新一代的大规模并行存储系统提供了基础。本文在全面深入了解对象存储结构与现有对象存储系统的基础上,对基于对象存储结构的大规模集群存储系统涉及的几个关键技术进行了深入研究,提出了新颖有效的实用算法。主要的贡献如下: (1)提出一种基于确定性算法分布目录对象和数据对象的可伸缩集群文件系统的框架结构,改进了现有对象存储系统的元数据和数据对象的管理方法。基于确定性算法自主计算数据分布的方法简化了大规模存储系统的管理,支持元数据服务器、存储节点的动态均衡扩展。 (2)首次提出目录路径属性与目录对象分离的元数据管理方法,扩展了现有的对象存储结构。该方法能够有效避免因为目录属性的修改而导致的大量元数据更新与迁移;通过减少前缀目录的重迭缓存提高了元数据服务器Cache的利用率和命中率;通过减少遍历目录路径的开销和充分开发目录访问的存储局部性,减少了磁盘I/O次数;通过元数据服务器的动态负载均衡避免单个服务器过载。实验结果表明该方法在提高系统性能、均衡元数据分布以及减少元数据迁移等方面具有明显的优势。 (3)首次在研究数据对象的分布中引入Monte Carlo方法,提出一种基于动态区间映射的数据对象布局算法,支持权重分布和副本,在均衡数据分布和最少迁移数据方面都是统计意义上最优的,有效解决了动态存储系统的数据均衡分布问题,提高了系统的可扩展性。该算法的基本思想是将数据对象与随机数对应起来,将存储节点与容纳随机数的区间对应起来,将离散空间中的数据对象分布问题转化为连续空间中的区间分割问题。根据系统中存储节点的规模和权重将单位区间分割成不同长度的区间,并在区间与存储节点之间建立映射关系,通过两次映射确定数据对象的存储位置。理论分析和实验结果表明数据对象分布具有统计意义上的均衡性、自适应性和迁移最优性,定位数据对象速度快。 (4)提出一种可伸缩分布式节点地址计算算法。该算法使得数据对象分配地址的计算不依赖于中央节点计算或者访问一个集中式目录,所有计算节点和存储节点独立地进行地址计算,并且对数据对象的访问操作或新增节点引起的系统规模变化不需要原子更新到其他计算节点,计算节点通过视图校正算法自主学习,自动适应新的系统规模。消除了现有的集中式访问性能瓶颈,使系统具有高可伸缩性。
【学位授予单位】:国防科学技术大学
【学位级别】:博士
【学位授予年份】:2005
【分类号】:TP333

【引证文献】
中国期刊全文数据库 前2条
1 刘金垒;李琼;宋振龙;;基于扩展属性的元数据管理算法[J];计算机研究与发展;2012年S1期
2 陈平增;齐路;刘晓光;王刚;;基于面向对象存储系统的对象及数据副本布局方法设计[J];计算机工程与科学;2008年11期
中国博士学位论文全文数据库 前1条
1 陈涛;大规模网络存储环境中的数据布局与查询优化技术研究[D];国防科学技术大学;2011年
中国硕士学位论文全文数据库 前5条
1 刘金垒;层次式并行混合存储系统关键技术研究[D];国防科学技术大学;2011年
2 冯振乾;并行网络文件系统数据管理技术的研究与实现[D];国防科学技术大学;2007年
3 王涌;面向PB级存储系统的元数据集群管理容错方法研究与实现[D];国防科学技术大学;2007年
4 常凯;SAS扩展器的设计与实现[D];华中科技大学;2008年
5 孙永林;面向归档数据的存储管理技术研究[D];国防科学技术大学;2009年
【共引文献】
中国期刊全文数据库 前1条
1 刘仲,周兴铭;基于动态区间映射的数据对象布局算法[J];软件学报;2005年11期
中国博士学位论文全文数据库 前2条
1 刘群;基于可扩展对象的海量存储系统研究[D];华中科技大学;2006年
2 李旭;系统级数据保护技术研究[D];华中科技大学;2008年
中国硕士学位论文全文数据库 前2条
1 冯振乾;并行网络文件系统数据管理技术的研究与实现[D];国防科学技术大学;2007年
2 董微;基于数据关联性聚类的数据布局算法[D];中国计量学院;2013年
【同被引文献】
中国期刊全文数据库 前10条
1 何立民;嵌入式系统的定义与发展历史[J];单片机与嵌入式系统应用;2004年01期
2 王芳;张顺达;冯丹;曾令仿;;对象存储系统中的柔性对象分布策略[J];华中科技大学学报(自然科学版);2007年03期
3 那宝玉;张毓森;刘鹏;邵海林;;数据存储可靠性算法[J];解放军理工大学学报(自然科学版);2007年03期
4 CHEN Frederick T.;LEE HengYuan;HSU YenYa;CHEN PangShiu;LIU WenHsing;TSAI ChenHan;SHEU ShyhShyuan;TSAI MingJinn;;Resistance switching for RRAM applications[J];Science China(Information Sciences);2011年05期
5 李向阳,庄越挺,潘云鹤;基于内容的图像检索技术与系统[J];计算机研究与发展;2001年03期
6 马一力,傅湘林,韩晓明,许鲁;存储与计算的分离[J];计算机研究与发展;2005年03期
7 覃灵军;冯丹;曾令仿;刘群;;基于对象存储系统的动态负载均衡算法[J];计算机科学;2006年05期
8 刘怀,胡继峰;实时系统的多任务调度[J];计算机工程;2002年03期
9 田颖,许鲁;分布式文件系统中的负载平衡技术[J];计算机工程;2003年19期
10 马学文,朱名日,程小辉;嵌入式系统中Bootloader的设计与实现[J];计算机工程;2005年07期
中国博士学位论文全文数据库 前2条
1 涂刚;软实时系统任务调度算法研究[D];华中科技大学;2004年
2 吴伟;海量存储系统元数据管理的研究[D];华中科技大学;2010年
中国硕士学位论文全文数据库 前3条
1 邵强;对象存储文件系统中元数据管理集群关键技术研究与实现[D];国防科学技术大学;2005年
2 钱迎进;基于对象存储的高可用技术的研究与实现[D];国防科学技术大学;2005年
3 邹丹;基于对象存储的固态盘存储加速技术研究[D];国防科学技术大学;2008年
【二级引证文献】
中国硕士学位论文全文数据库 前5条
1 陈洁尘;基于集群的高性能遥感影像水体提取方法研究[D];浙江工业大学;2012年
2 刘丽娜;基于双服务器架构的电视广告管理系统[D];吉林大学;2012年
3 杨鹍;基于语义的金融行业大数据整合及处理技术[D];浙江大学;2013年
4 董微;基于数据关联性聚类的数据布局算法[D];中国计量学院;2013年
5 吕梦蛟;支持业务集成的交通行业信息化应用支撑平台研究与开发[D];浙江工业大学;2013年
【相似文献】
中国期刊全文数据库 前10条
1 ;集群存储应对新媒体时代[J];中国数字电视;2008年07期
2 张岩;;Isilon的集群存储之道[J];信息化纵横;2008年13期
3 张悠慧,郑纬民;基于网络附属对象设备的集群存储体系结构[J];软件学报;2003年02期
4 刘仲,章文嵩,王召福,周兴铭;基于对象存储的集群存储系统设计[J];计算机工程与科学;2005年02期
5 文竹;;Isilon的集群存储之道[J];数字通信世界;2008年12期
6 张建勋,马胜甫,田俊峰,马艳琨;一个自组织可扩展PC集群存储系统[J];微机发展;2005年02期
7 卢敏;;集群存储应势所趋[J];软件世界;2007年22期
8 张振庆;;集群存储技术的分析与研究[J];中国传媒科技;2011年07期
9 张建勋,马胜甫,田俊峰,马艳琨;高可靠可扩展PC集群存储系统的设计[J];华南理工大学学报(自然科学版);2004年S1期
10 郑毅;刘思勇;;IP集群存储技术特点[J];硅谷;2011年02期
中国重要会议论文全文数据库 前2条
1 胡渊汶;;BIM信息基础架构——EMC ISILON横向扩展集群存储在BIM上的应用[A];BIM与工程建设信息化——第三届工程建设计算机应用创新论坛报告集[C];2011年
2 钱迎进;金士尧;肖侬;;大规模集群文件系统中的I/O拥塞控制机制[A];2010年第16届全国信息存储技术大会(IST2010)论文集[C];2010年
中国重要报纸全文数据库 前10条
1 本报记者 郭涛;集群存储不再曲高和寡[N];中国计算机报;2008年
2 本报记者 郭涛;从集群存储走向云端[N];中国计算机报;2011年
3 郭;艾德斯集群存储亮相中国[N];计算机世界;2002年
4 本报记者 郭平;集群存储优势正在显现[N];计算机世界;2008年
5 ;美国赛龙集群存储方案[N];计算机世界;2008年
6 本报特约撰稿 杨峰;解密集群存储[N];计算机世界;2009年
7 ;集群存储开始走俏[N];网络世界;2004年
8 本报记者 佟乐;Isilon中国布道集群存储[N];网络世界;2008年
9 ;寻访首批集群存储用户[N];中国计算机报;2008年
10 本报记者 郭平;分析:存储进入“动车时代”[N];计算机世界;2010年
中国博士学位论文全文数据库 前4条
1 霍道安;集群存储网络吞吐量塌陷行为研究[D];华中科技大学;2012年
2 杨希;智能网络磁盘(IND)存储管理方法研究[D];中南大学;2012年
3 陆承涛;存储系统性能管理问题的研究[D];华中科技大学;2010年
4 李康荣;空间地理数据剖分网络协议研究[D];成都理工大学;2011年
中国硕士学位论文全文数据库 前9条
1 张峰豪;纠删码集群存储的数据访问优化技术研究[D];华中科技大学;2013年
2 张建勋;高可靠可扩展PC集群存储系统研究[D];河北大学;2005年
3 冯保民;油田高性能集群系统性能优化技术研究[D];东北石油大学;2010年
4 张楠;S-Cloud云备份系统研究与开发[D];长安大学;2011年
5 张强;基于模块化的集群NAS存储系统的研究与实现[D];山东大学;2013年
6 么士宇;基于分布式计算的网络爬虫技术研究[D];大连海事大学;2011年
7 陈剑锐;基于Hadoop海量数据存储仿真平台的研究与设计[D];华南理工大学;2011年
8 王文娟;基于WATIR和STAF的自动化测试的设计与实现[D];西南交通大学;2011年
9 陈文慧;大规模气象数据布局的自适应性研究[D];东北大学;2012年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026