收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

大规模Lustre集群文件系统关键技术的研究

钱迎进  
【摘要】:集群已成为当今高性能计算机的主流体系结构。集群文件系统是缓解高性能计算集群I/O瓶颈问题的核心技术。随着高性能计算技术的不断发展,很多高性能计算应用的存储需求在不断提高。Lustre是领先的集群文件系统,已经成为构建高性能计算存储系统的标准,在高性能计算市场中占据统治地位。它可以有效地扩展到支持上万个节点的大规模HPC系统,具有被证实的聚合性能和扩展性。随着高性能计算不断的以增加节点来提升系统性能,未来高性能计算集群将变得异常庞大,技术上给Lustre带来了扩展性、I/O性能和可用性等诸多严峻挑战。本文所做的工作就是紧紧围绕这些问题展开的。具体研究内容和创新成果如下: (1)针对大规模应用的并行I/O访问特性,设计了一种新颖的跨网络的服务器端I/O请求调度器框架,并提出了一种基于对象的轮转(OBRR, Object Based Round Robin)调度算法来优化性能。它通过调度上层的并行I/O请求的执行,呈现给后端存储系统更容易优化的I/O工作负载。同时,为了避免饥饿以及满足不同紧急程度I/O请求响应时间的需求,提出了一种新颖的两级deadline设置策略:动态deadline和强制deadline。一系列的模拟测试结果表明使用OBRR性能提高了40%以上,两级deadline设置策略可以保持公平性,避免饥饿,确保不同紧急程度I/O的响应时间。 (2)与网络拥塞类似,当存储系统达到超大规模时,也会造成I/O拥塞问题。针对这个问题,提出了一种动态I/O拥塞控制机制来更好的支持未来的艾级规模HPC系统的存储需求。在该机制的控制下,当服务器轻载时,允许客户端发送更多的I /O请求给服务器,以达到优化网络和服务器资源利用率提高I/O吞吐率的目的;另一方面,当服务器负载过重时,它可以对客户端I/O进行节流控制,限制服务器挂起的I/O请求的数目,控制I/O延迟,避免服务器拥塞崩溃。在天河一号上的一系列评估实验结果证明了提出的拥塞控制机制的有效性:它阻止了拥塞崩溃的发生;在此前提下,它最大化了Lustre文件系统的I/O性能。 (3)针对传统的固定超时机制不能适应超大规模集群环境的不足,提出了一种综合考虑网络条件、服务器负载、扩展性和性能等因素的自适应可扩展的RPC超时机制。它包括两个策略:自适应超时策略和及早回复策略。在自适应超时策略中,客户端设置的超时值可以根据客户端服务器间的网络情况以及服务器的工作负载动态的进行调整,以适应集群环境的变化,从而避免不必要的超时造成整个系统性能的降低;同时,为了区分服务器因负载过重而拥塞和网络/节点失效,以及为了解决嵌入式超时问题,提出了一种及早回复策略:当服务器知道它不能在客户端期待的响应时间内回复RPC请求时,它将提前发送一个轻量级的及早回复消息给客户端并指示一个估测的额外需要的服务时间。该策略进一步减少了超时的发生,提高了系统的响应速度。一系列的模拟评估的结果表明:与固定超时机制相比,使用自适应超时策略RPC超时率从76%降低到13%,结合及早回复策略,超时率甚至降低到0%;在基于RPC的超大规模集群系统中,其他的一些RPC失效检测机制,如客户端驱动的轮询或探测机制,会产生大量的不必要的网络流量,存在扩展性问题,而我们的机制通常只产生少量的网络流量,是一个更具有扩展性的基于超时的失效检测机制。 (4)研究了Lustre分布式锁管理器技术。首先,分析了Lustre的文件访问的并发控制机制,基于锁回调的客户端目录项高速缓冲和数据写回缓冲;其次,研究了Lustre的基于意图锁的元数据操作和子树锁机制以及基于范围锁的文件大小获取算法;最后,提出了自适应I/O锁策略、基于区间树的范围锁冲突检测优化策略以及锁淘汰策略等,进一步增强了Lustre的I/O性能和锁服务的扩展性。 (5)研究有状态的Lustre基于事务的元数据更新算法和恢复机制。Lustre允许服务器完成了事务的内存更新就可以将结果返回客户端,而且其结果在整个命名空间即为可见的。这种方式能够提供优异的元数据性能,但它会在服务器重启恢复(或者故障切换)时造成事务的叠加abort的问题,从而不能进行透明无缝的恢复。Lustre的重启恢复算法需要集群中所有客户端在指定的恢复时间窗口内与服务器重新建立连接,客户端重传未提交的事务请求,服务器严格按照事务序列号重放所有未提交的事务,其要求过于严格。为了提高Lustre的可恢复性,提出了基于版本恢复和共享时提交算法,它们分别对Lustre的元数据更新算法和重启恢复恢算法进行了扩展,允许客户端在更为宽松的条件下能够进行恢复重新加入到集群。基于版本的恢复算法在恢复的过程中加入了版本检查,允许操作对象版本匹配的事务进行重放恢复。在共享时提交算法中,服务器一旦检测到未提交的客户端间依赖事务时,会将它提交到磁盘来避免读或者写未提交的事务的数据,从而消除客户端间的恢复依赖关系,使得各个客户端可以独立的恢复。实验评估证明由于发生事务依赖时需要强制进行磁盘提交,共享时提交算法对性能会有所影响。尽管如此,在超大规模的Lustre集群中,为了能够提供高可靠高可用的服务,一般都会选择开启共享时提交功能。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 熊安萍;葛军;邹洋;;Lustre文件系统中范围锁机制的应用研究[J];重庆邮电大学学报(自然科学版);2011年02期
2 陈晓江;马东海;陈峰;房鼎益;;智能移动终端白板交互系统的研究与设计[J];计算机应用与软件;2008年08期
3 赵玉萍;苟海鸿;;虚拟教室中的共享电子白板的设计和实现[J];电脑知识与技术;2009年31期
4 沈韬;陈寅寅;吴子云;;时移IPTV系统的设计和服务质量评估[J];中国图象图形学报;2008年10期
5 王志军;;飞信好友也要批量添加[J];网友世界;2010年Z1期
6 陈勇;;学院网改造中VPN的实现方法分析[J];考试周刊;2011年70期
7 李志华;刘春伟;赵顺丹;陈立平;;异地同步协同设计技术研究与实现[J];机电工程;2007年02期
8 郭盛兴;王晶;廖建新;;基于通用消息的持久化消息队列设计[J];北京工商大学学报(自然科学版);2010年01期
9 欧晓鸥;王志立;魏建香;;一种服务质量自适应调整算法的研究[J];计算机应用;2007年06期
10 狄鹏;胡长军;王鑫;李建江;;网格环境下基于XML的文件数据仓库的传输策略[J];华中科技大学学报(自然科学版);2007年S2期
11 刘峰飞;陆松年;杨树堂;;多用户并发控制的入侵检测漏警实验系统[J];信息技术;2008年01期
12 唐贵平;何兴;邓敏;邓小清;;流媒体应用的服务质量问题分析[J];中国青年科技;2008年03期
13 林克明;尤垂桔;;基于多数法的分布式并发控制的实现及改善[J];计算机时代;2009年07期
14 周芹;钟耳顺;黄耀欢;郭会;;大型空间数据库的并发索引策略CQR树[J];武汉大学学报(信息科学版);2009年07期
15 金路;范钱泽;王晓军;;Java平台下对TR-069的实现[J];江苏通信;2009年05期
16 李双庆;唐乐竞;张智;;一种基于QoS的Web服务选择模型[J];微处理机;2009年06期
17 王博;李先国;张晓;;Lustre文件系统的性能优化研究[J];微型电脑应用;2011年05期
18 刘王飞;邬春学;杨璞;;一种实用的音视频传输控制机制及实现[J];现代计算机;2006年06期
19 宋玲;陈燕;;基于H.332的纯软件视频会议系统研究与实现[J];计算机工程与应用;2006年19期
20 胡晶;;基于P2P技术的视频点播技术[J];中国科技信息;2007年02期
中国重要会议论文全文数据库 前10条
1 张钰森;吴庆波;谭郁松;;基于Lustre的大规模文件系统拥塞控制算法的研究[A];2010年第16届全国信息存储技术大会(IST2010)论文集[C];2010年
2 周志逵;吴娟娟;;AO2DB系统C/S模型的设计与实现[A];第十七届全国数据库学术会议论文集(技术报告篇)[C];2000年
3 刘光明;邹丹;张超;;面向Lustre文件系统的固态盘存储加速技术研究[A];第15届全国信息存储技术学术会议论文集[C];2008年
4 张伟燕;席传裕;;应用客户端安全登录技术研究[A];’2004计算机应用技术交流会议论文集[C];2004年
5 陈晓江;冯健;马东海;房鼎益;;一个智能移动终端白板系统的设计与实现[A];第三届和谐人机环境联合学术会议(HHME2007)论文集[C];2007年
6 张艳;王月辉;;基于SERVQUAL模型的中国工商银行服务质量实证研究[A];中国高等院校市场学研究会2009年年会论文集[C];2009年
7 李丹荔;毛玉明;马立香;;在MPLS VPN中支持QoS的分析[A];2006中国西部青年通信学术会议论文集[C];2006年
8 文炜;;民办高校图书馆读者服务层次定位的思考[A];拓展与深化——全国民办高校图书馆与图书馆地方文献工作研讨会论文集[C];2005年
9 卫双囤;;关于病案信息为新型农村合作医疗服务的思考[A];中国医院协会病案管理专业委员会第15届全国病案管理学术会议论文集[C];2006年
10 戴弘;柴玉忠;;树立动车良好形象 打造一流服务水平——关于提高动车组服务质量的调研报告[A];河南省铁道学会2007年学术活动月优秀论文选集[C];2007年
中国博士学位论文全文数据库 前10条
1 钱迎进;大规模Lustre集群文件系统关键技术的研究[D];国防科学技术大学;2011年
2 史立;空间数据通信与组网技术研究[D];中国科学院研究生院(计算技术研究所);2006年
3 齐芳;SSL协议中QoS感知的优化策略与算法研究[D];中南大学;2007年
4 王永利;区域客户端能源综合需求侧管理理论及应用研究[D];华北电力大学;2010年
5 苟定勇;无线多媒体网络服务质量关键技术研究[D];电子科技大学;2004年
6 刘安丰;基于QoS的分布式Web服务结构模型及其关键技术研究[D];中南大学;2005年
7 胡子祥;高等教育顾客感知服务质量的实证研究[D];西南交通大学;2007年
8 吴钊;保证服务质量的动态Web服务组合及其性能分析研究[D];武汉大学;2007年
9 周云晖;卫星网络QoS路由协议及其优化理论研究[D];清华大学;2007年
10 张纯鹏;无线局域网中竞争窗口控制的研究[D];中国科学技术大学;2008年
中国硕士学位论文全文数据库 前10条
1 陈娟;协同装配中迟加入问题的研究与实现[D];山东大学;2006年
2 陈寅寅;基于码流平滑技术研究IPTV系统服务质量[D];复旦大学;2008年
3 杨永亮;数据库结果集缓存的研究与实现[D];西南交通大学;2008年
4 白寰;基于可穿戴计算的设备维护协同作业支撑系统研究[D];电子科技大学;2009年
5 赵水清;基于对象客户端文件系统的设计及关键技术[D];华中科技大学;2007年
6 申海;移动数据库中移动事务处理的关键技术研究[D];沈阳工业大学;2005年
7 傅自钢;视频点播系统中流媒体传输控制研究与实现[D];中南大学;2005年
8 王媛媛;基于服务器集群的Web QoS控制研究[D];华北电力大学(河北);2007年
9 曾慧琼;组合服务的事务性研究[D];中南大学;2008年
10 付炼红;数据库离线并发控制技术研究[D];湖南大学;2009年
中国重要报纸全文数据库 前10条
1 王翌;社会网络、搜索引擎和客户端[N];计算机世界;2005年
2 白 玲 胡宝国;WEB GIS有何优点[N];中国测绘报;2006年
3 本报记者 边歆;应用的安全大道[N];网络世界;2006年
4 北京 陈雷;剖析《网络神偷》[N];电脑报;2002年
5 ;花儿为什么那样红?[N];中国电脑教育报;2004年
6 ;小下载也有大学问[N];电脑报;2006年
7 陆媛;融资融券今日行券商八仙过海推卖点[N];第一财经日报;2006年
8 ;趋势科技中小企业网络安全版3.6[N];中国计算机报;2007年
9 付宪国凌柳凤;移动GIS的概念和特点[N];中国测绘报;2008年
10 广州杰赛通信规划设计院 周冠宇;齐心协力 让“云”落地[N];人民邮电;2011年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978