收藏本站
《中国科学院研究生院(计算技术研究所)》 2005年
收藏 | 手机打开
二维码
手机客户端打开本文

蓝鲸分布式文件系统的资源管理

黄华  
【摘要】:当前,高性能计算机得到了空前发展,特别是机群结构的超级计算机已经占据了TOP500中半数以上的份额。同时,随着信息技术的发展,越来越多的信息以数字化形式保存,存储子系统已经成为计算机系统中最重要的部分。然而由于外部存储设备受到机械部件的制约,其数据传输性能的提高远远落后于CPU运算能力的提高,造成存储子系统成为整个计算环境的瓶颈。与采用机群结构的高性能计算机系统类似,存储子系统的机群化将为解决数据传输能力的落后面貌提供一个可行的方案。 受国家“八六三”计划重点支持的“蓝鲸”大规模网络存储系统致力于解决高性能计算环境中的存储子系统的瓶颈问题。它借助于高性能计算机网络,管理多个存储节点组成的存储机群,充分利用它们的存储空间和并发数据传输能力,实现高性能、低成本的海量存储。蓝鲸分布式文件系统(BWFS)是蓝鲸大规模网络存储系统的核心系统软件,它向用户提供单一映象的、全局共享的分布式文件系统服务。 本文结合BWFS的设计与实现,对其资源管理做了较深入的研究,提出了分布式分层资源管理模型,以及该模型在BWFS实现中的相关技术。主要研究成果如下: (1)BWFS的分布式分层资源管理模型(Distributed Layered Resource Management Model)。DLRM模型根据相对于资源的角色,将系统划分成多个功能独立的模块,实现分布部署:同时将它们划分成多个层次,有利于系统的实现与优化。DLRM模型确定了BWFS的“带外”数据传输架构,将负载和存储分担到多个节点组成的机群上,实现并发管理和并发数据传输,因此奠定了系统强大可扩展性,为系统实现负载平衡、在线迁移等提供了可能。 (2)高效的物理存储空间管理。DLRM模型将海量存储空间统一编址,然后划分成多个独立的资源组,并发管理各个资源组的存储空间,提高系统的性能与可扩展性。资源组采用的数据块/索引节点的动态分配、带统计信息的动态位图等技术使得BWFS具有高效率的空间管理能力。 (3)全动态元数据绑定技术。BWFS的活跃元数据采用全动态任意绑定技术,可以实现动态负载平衡,提高系统的性能和可扩展性。 (4)文件系统的资源管理优化。元数据服务器管理BWFS的元数据,实现资源批量申请/异步释放、分片存储(striping)、按策略的资源分配、分布式日志等技术。 (5)针对BWFS的性能测试、分析与对比。通过这些测试,验证了DLRM模型以及以上技术的有效性,对比分析显示BWFS在多方面的性能较NFS有显著提高;同时,也发现了系统的一些弱点,对以后进一步优化有参加价值和借鉴意义。
【学位授予单位】:中国科学院研究生院(计算技术研究所)
【学位级别】:博士
【学位授予年份】:2005
【分类号】:TP316.4

【引证文献】
中国期刊全文数据库 前2条
1 蒙安泰;;分布式文件系统中元数据管理机制的研究[J];电脑知识与技术;2011年35期
2 冯幼乐;朱六璋;;CEPH动态元数据管理方法分析与改进[J];电子技术;2010年09期
中国博士学位论文全文数据库 前1条
1 杨德志;分布式文件系统可扩展元数据服务关键问题研究[D];中国科学院研究生院(计算技术研究所);2008年
【共引文献】
中国期刊全文数据库 前10条
1 柳寒冰;宿红毅;张晗;战守义;;军用仿真中基于Web CMS的仿真资源管理机制研究[J];北京工业大学学报;2010年01期
2 薛志强;刘鹏;文艾;周游;许闯;;分布式文件系统管理策略研究[J];电脑知识与技术;2011年01期
3 何公明;张元涛;;面向数字媒体的高性能分布式存储系统的研究与应用[J];广播电视信息;2009年10期
4 尹洋;刘振军;许鲁;;一种基于磁盘介质的网络存储系统缓存[J];软件学报;2009年10期
5 邰铭;刘鹏;姚远;王辉;余弦;;适用于网络流量延时重放的线性文件系统[J];计算机工程与设计;2010年24期
6 史芳丽,周亚莉;Linux系统中虚拟文件系统内核机制研究[J];陕西师范大学学报(自然科学版);2005年01期
7 李浩;蒋文斌;刘超;张磊;;一种面向虚拟实验的非结构化数据存储方法[J];实验室研究与探索;2010年10期
8 刘皓玮;张源;康凯;;铁路调度系统虚拟化应用平台研究[J];铁道通信信号;2011年11期
9 马钧培;赵雪松;马建军;;铁路信息系统整合的技术策略[J];中国铁路;2007年07期
10 管爱东;郑建国;;低压配电网无线远程监控管理信息系统研究[J];计算机技术与发展;2007年11期
中国重要会议论文全文数据库 前2条
1 张晓华;张至柔;;基于网络存储备份技术的高校广义数据中心架构研究[A];2008'中国信息技术与应用学术论坛论文集(二)[C];2008年
2 罗志明;张大华;王电钢;常健;;电力分布式云存储关键技术研究[A];2012年电力通信管理暨智能电网通信技术论坛论文集[C];2013年
中国博士学位论文全文数据库 前9条
1 常青;瘦型服务器及个人/家庭事务处理应用研究[D];太原理工大学;2011年
2 侯昉;海量网络存储系统中的多级缓存技术研究[D];华南理工大学;2011年
3 李彭军;医学影像云服务平台基础架构研究与实践[D];南方医科大学;2011年
4 揣媛媛;空间信息网格环境下的矿产资源证据权评价方法研究[D];吉林大学;2007年
5 杨德志;分布式文件系统可扩展元数据服务关键问题研究[D];中国科学院研究生院(计算技术研究所);2008年
6 周桂贤;E-HUB模式制造资源管理系统集成的关键技术研究[D];西南交通大学;2010年
7 张博;面向农业科研人员的虚拟化信息服务研究[D];中国农业科学院;2010年
8 宋玮;分布式存储系统中的节点自主性问题研究[D];华南理工大学;2010年
9 莫同;服务模型驱动的体系结构与服务构件重用技术[D];哈尔滨工业大学;2009年
【同被引文献】
中国期刊全文数据库 前8条
1 刘祖云;胡进德;;分布式共享存储研究[J];成都大学学报(自然科学版);2008年01期
2 余立强;Linux系统的文件共享服务解决方案[J];电脑学习;2004年05期
3 朱夏;王茜;;异构系统间数据交换模型的设计与实现[J];东南大学学报(自然科学版);2006年02期
4 郑瑞卿;黄国斌;;操作系统同步研究——Linux内核同步机制[J];电脑知识与技术;2005年35期
5 冯幼乐;朱六璋;;CEPH动态元数据管理方法分析与改进[J];电子技术;2010年09期
6 张薇;马建峰;杨晓元;;分布式存储系统的可靠性研究[J];西安电子科技大学学报;2009年03期
7 谢长生,黄建忠,刘朝斌;堆叠式文件系统的研究及其在NAS整合中的实现[J];小型微型计算机系统;2005年03期
8 王娟;冯丹;王芳;廖振松;;一种元数据服务器集群的负载均衡算法[J];小型微型计算机系统;2009年04期
中国博士学位论文全文数据库 前3条
1 熊劲;大规模机群文件系统的关键技术研究[D];中国科学院研究生院(计算技术研究所);2006年
2 王建勇;可扩展的单一映象文件系统[D];中国科学院研究生院(计算技术研究所);1999年
3 吴思宁;机群文件系统服务器关键技术研究[D];中国科学院研究生院(计算技术研究所);2004年
【二级引证文献】
中国期刊全文数据库 前1条
1 蒙安泰;;分布式文件系统中元数据管理机制的研究[J];电脑知识与技术;2011年35期
中国博士学位论文全文数据库 前1条
1 赵铁柱;分布式文件系统性能建模及应用研究[D];华南理工大学;2011年
【二级参考文献】
中国期刊全文数据库 前1条
1 吴松,金海;存储虚拟化研究[J];小型微型计算机系统;2003年04期
【相似文献】
中国期刊全文数据库 前10条
1 黄华,张建刚,许鲁;蓝鲸分布式文件系统的分布式分层资源管理模型[J];计算机研究与发展;2005年06期
2 林木辉,林锦贤,林凌;基于可扩展、高性能分布式文件系统的网络存储方式的研究与实现[J];福建电脑;2005年09期
3 黄华;张建刚;许鲁;;蓝鲸分布式文件系统的客户端元数据缓存模型[J];计算机科学;2005年09期
4 王敏,李静,范中磊,许鲁;一种虚拟化资源管理服务模型及其实现[J];计算机学报;2005年05期
5 李桂萍;;云计算的两大特性:虚拟化、分布式[J];通信世界;2011年16期
6 褚伟;IBM面对第三次IT浪潮[J];多媒体世界;2001年06期
7 梁伟明;曾建中;;浅谈AVID Unity ISIS万兆网络[J];现代电视技术;2006年08期
8 范勇;张建刚;许鲁;;蓝鲸分布式文件系统网络容错的软件技术[J];计算机工程;2006年18期
9 ;信息存储为IT业带来新机遇——记2001年网络存储大会[J];计算机与农业;2001年09期
10 晴健;黄河证券上海总部数据网络存储解决方案[J];计算机周刊;2001年43期
中国重要会议论文全文数据库 前10条
1 孙来福;王朋娇;;网格在网络教育资源管理中的应用[A];基于信息技术的教学新模式研究[C];2006年
2 戴章坤;;对社区卫生资源管理和预防保健工作的思考与探讨[A];新世纪预防医学面临的挑战——中华预防医学会首届学术年会论文摘要集[C];2002年
3 王连森;;办学资源的产权分析:一个拓展产权经济学在高等教育领域应用的构想[A];2008年中国教育经济学年会会议论文集[C];2008年
4 陈明;谢俊;李勇;;基于博弈论的网格资源管理[A];2008年全国开放式分布与并行计算机学术会议论文集(上册)[C];2008年
5 陈明;何广江;张帅;谢俊;;基于经济智能主体的网格资源发现模型[A];2009年全国开放式分布与并行计算机学术会议论文集(下册)[C];2009年
6 王捷;;船舶资源管理[A];2001航海技术现状与发展趋势论文集[C];2001年
7 贺强;杨艳玲;李桂林;;地理信息系统在铁路供水系统资源管理中的应用[A];中国铁道学会铁道环境保护委员会给排水学组2005年论文集[C];2005年
8 余文骏;朱永华;徐炜民;;以服务器为中心的面向服务网络计算架构的研究与实现[A];2006年全国开放式分布与并行计算机学术会议论文集(三)[C];2006年
9 解硕永;;依法合理运作矿业权 努力降低煤炭资源成本[A];第七届中国煤炭经济管理论坛暨2006年中国煤炭学会经济管理专业委员会年会论文集[C];2006年
10 刘林会;申文周;;强化矿产资源管理 提高资源利用水平[A];第五届全国矿山采选技术进展报告会论文集[C];2006年
中国重要报纸全文数据库 前10条
1 ;EMC:网络存储自动化[N];计算机世界;2004年
2 朱朱;FAS让网络存储更合理[N];计算机世界;2003年
3 ;网络存储十大看点[N];计算机世界;2004年
4 ;绿色 存储解决方案评析[N];计算机世界;2008年
5 王珏;网络存储有突破[N];中国计算机报;2001年
6 ;网络存储[N];中国计算机报;2002年
7 ;网络存储[N];网络世界;2004年
8 本报记者 郭平;初次构建网络存储有新选择[N];计算机世界;2008年
9 本报记者 李佳师;网络存储选择什么?[N];中国电子报;2001年
10 本报记者 刘学习;网络存储冲击波[N];计算机世界;2002年
中国博士学位论文全文数据库 前10条
1 黄华;蓝鲸分布式文件系统的资源管理[D];中国科学院研究生院(计算技术研究所);2005年
2 邓劲生;广域网络存储虚拟化技术研究[D];国防科学技术大学;2005年
3 赵铁柱;分布式文件系统性能建模及应用研究[D];华南理工大学;2011年
4 段新东;网络存储安全协议研究[D];西安电子科技大学;2011年
5 卢军;高性能网络存储技术研究[D];电子科技大学;2002年
6 周文辉;相控阵雷达及组网跟踪系统资源管理技术研究[D];国防科学技术大学;2004年
7 朱林;信息融合系统工程设计准则的研究[D];哈尔滨工程大学;2005年
8 丁顺利;基于代理的网格资源管理与任务调度[D];吉林大学;2006年
9 陈涛;大规模网络存储环境中的数据布局与查询优化技术研究[D];国防科学技术大学;2011年
10 王婷;面向授权管理的资源管理模型研究[D];解放军信息工程大学;2011年
中国硕士学位论文全文数据库 前10条
1 林凌;大规模分布式文件系统的研究与实现[D];福州大学;2006年
2 赵峰;公务人力资源管理信息系统的研究[D];郑州大学;2003年
3 周祎生;网格环境下基于Agent技术资源管理的研究[D];南京理工大学;2004年
4 王婧;基于SNMP数据采集资源管理研究[D];吉林大学;2005年
5 张军;基于市场经济的网格资源管理的问题研究[D];南京理工大学;2005年
6 张超速;基于信息网格的视频信息服务系统构架研究[D];电子科技大学;2005年
7 朱莉;EPLRS中AODV路由与资源管理结合技术研究[D];电子科技大学;2005年
8 范勇;蓝鲸分布式文件系统数据一致性语义研究[D];中国科学院研究生院(计算技术研究所);2006年
9 邬本明;青岛宝兰格资源管理项目可行性研究[D];南京理工大学;2007年
10 张一麟;移动电话号码资源的管理与分析[D];北京邮电大学;2008年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026