收藏本站
《中国科学院研究生院(计算技术研究所)》 2000年
收藏 | 手机打开
二维码
手机客户端打开本文

软件分布式共享存储系统的性能优化

施巍松  
【摘要】:软件分布式共享存储系统(又称为虚拟共享存储系统)由于结合了共享存储系统的易编程性和分布式存储系统的可伸缩性而成为近十几年来的一个重要研究方向。设计软件分布式共享存储系统最主要的目标是对应用程序不作修改或很少修改就可以在该系统上运行,并能取得令人满意的性能。但为了维护共享数据的一致性和通信的透明而引入的系统开销使得现有的很多系统很难达到这个目标。 本文着重研究如何提高软件分布式共享存储系统的性能,分别从高速缓存一致性协议、存储器组织方式、系统开销、循环调度、任务迁移、和通信优化六个方面提出了相应的优化技术。 通过对传统的侦听协议、目录协议和几种不同的释放一致性协议进行的详细分析,本文提出了一个新型的基于锁的一致性协议,它的独特之处在于“主结点”的概念不仅应用于共享数据信息,而且还应用于一致性信息,如写记录,每个一致性信息根据相应的同步对象都有一个主结点。与基于目录的协议相比,该协议中所有与一致性相关的操作都在同步点上,因此对于普通的访存操作几乎没有任何额外的开销。更重要的是,基于锁的协议中无须维护一个目录,从而更具有可伸缩性,基于这个一致性协议,本文设计并实现了一个简单而实用的软件分布式共享存储系统JIAJIA。JIAJIA采用了一种类似CC-NUMA的存储组织方式,即同一页在所有处理机上都有相同的虚拟地址,因而在发生不命中时,无须象其它系统一样进行两次复杂的地址转换。另外,JIAJIA是第一个真正能够把多个机器的存储器组织起来形成大内存空间的系统,基于JIAJIA系统,本文并行化了一个电磁场计算的实际应用程序,效果与国际上同类程序的消息传递版本可比。另外,本文还提出一种基于置信区间的数据分析方法。 通过对软件分布式共享存储的系统开销进行的详细分析,发现远程数据不命中时间和同步时间是两个最主要的开销。因此提出读记录技术、唯cache写检测技术、层次式栅障实现等三种优化技术。分析结果表明,前两种技术对性能的提高是明显的,层次式栅障实现在系统规模较大时效果会比较好。 本论文第一次在软件分布式共享存储系统中分析和比较了各种自调度算法,发现一些以前的结论在这样的系统中不再成立,甚至完全相反。在分析前人工作的基础上,提出了一种基于耦合度的自调度算法ABS。该算法在调度时充分考虑了数据的静态分布和计算任务之间的关系,从而尽量保持处理机与存储器之间的耦合关系。ABS算法结合了集中式任务队列和分布式任务队列的优点,与分布式任务队列相比,大大减少了在负载不平衡时因调度引起的同步开销。
【学位授予单位】:中国科学院研究生院(计算技术研究所)
【学位级别】:博士
【学位授予年份】:2000
【分类号】:TP311.52

手机知网App
【共引文献】
中国期刊全文数据库 前10条
1 李颖敏,唐志敏;DSDM:一种基于机群系统的多屏显示接口[J];计算机研究与发展;2002年06期
2 吴少刚,章隆兵,蔡飞,胡伟武;一种适用于机群OpenMP系统的有效调度算法[J];计算机研究与发展;2004年07期
3 王焕东;高翔;陈云霁;胡伟武;;龙芯3号互联系统的设计与实现[J];计算机研究与发展;2008年12期
4 李冀;郭建新;陈贵海;谢立;;一个基于层次结构的DSM模型[J];计算机科学;2001年01期
5 唐志敏,施巍松,胡伟武;曙光1000A上消息传递与共享存储的比较[J];计算机学报;2000年02期
6 戴华东,杨学军;DSM系统中存储一致性模型的一种新框架——S~3C框架[J];计算机学报;2002年12期
7 吴少刚,章隆兵,蔡飞,顾丽红,唐志敏;机群Open MP系统的设计与实现[J];计算机学报;2004年07期
8 龙国平;张军超;范东睿;;众核体系结构对Cilk语言的硬件支持及评测研究[J];计算机学报;2008年11期
9 胡伟武,water.chpc.ict.ac.cn,施巍松,water.chpc.ict.ac.cn,唐志敏,water.chpc.ict.ac.cn,李明,water.chpc.ict.ac.cn;A Lock-Based Cache Coherence Protocol for Scope Consistency[J];Journal of Computer Science and Technology;1998年02期
10 胡伟武,water.chpc.ict.ac.cn,施巍松,water.chpc.ict.ac.cn,唐志敏,water.chpc.ict.ac.cn;A Framework of Memory Consistency Models[J];Journal of Computer Science and Technology;1998年02期
中国博士学位论文全文数据库 前8条
1 戴华东;并行分布操作系统共享存储管理及其优化技术的研究[D];国防科学技术大学;2002年
2 谢向辉;软件DSM中的数据行为分析及系统性能优化[D];中国科学院研究生院(计算技术研究所);1999年
3 王建勇;可扩展的单一映象文件系统[D];中国科学院研究生院(计算技术研究所);1999年
4 梁煜;消息传递并行程序的测试及其通信环境[D];中国科学院研究生院(计算技术研究所);1998年
5 毛永捷;用户级通信在软件分布式共享存储系统中的应用[D];中国科学院研究生院(计算技术研究所);2000年
6 吴少刚;机群系统OpenMP研究[D];中国科学院研究生院(计算技术研究所);2004年
7 章隆兵;提高机群OpenMP系统性能的关键技术研究[D];中国科学院研究生院(计算技术研究所);2004年
8 李景文;面向对象空间实体矢量模型及其应用研究[D];中国地质大学(北京);2007年
中国硕士学位论文全文数据库 前10条
1 陈丹丹;用软件实现局域网中的内存共享[D];南京航空航天大学;2002年
2 周伟波;基于Linux环境下的分布式存储系统的研究与实现[D];国防科学技术大学;2002年
3 刘旭民;一种避免伪共享的分布式共享存储协议的设计与实现[D];暨南大学;2003年
4 冯灿;WindowsNT系统下实时动态模拟环境[D];电子科技大学;2006年
5 曹先波;基于SCI通信的共享虚拟存储系统[D];中国科学院研究生院(计算技术研究所);2003年
6 何田;底层操作系统对软件DSM的影响[D];中国科学院研究生院(计算技术研究所);2000年
7 刘海明;基于SMP机群的虚拟共享存储系统[D];中国科学院研究生院(计算技术研究所);2001年
8 杨进;地震数据处理中的并行计算技术研究[D];湖南大学;2008年
9 刘胜;DSP高效片内二级Cache控制器的设计与实现[D];国防科学技术大学;2008年
10 孙文杰;基于面向领域搜索引擎的分布式共享存储解决方案[D];天津大学;2007年
【相似文献】
中国期刊全文数据库 前10条
1 吴俊敏,高原,江松,郑世荣;一种新的分布式共享存储协议:用户级共享存储协议[J];小型微型计算机系统;2000年04期
2 李春江,杨学军;虚拟共享存储系统中核外计算的实现[J];计算机工程与科学;2000年04期
3 毛永捷,施巍松,祝明发;用户级通信在软件分布式共享存储系统中的应用与分析[J];计算机研究与发展;2001年04期
4 胡卫华,陈基禄,朱永利,王新;实时重新配置的分布式共享存储的研究[J];华北电力大学学报;2003年04期
5 ;EditShare Field便携式共享存储系统[J];电视字幕(特技与动画);2007年04期
6 刘祖云;胡进德;;分布式共享存储研究[J];成都大学学报(自然科学版);2008年01期
7 章锋,徐大杰,李宇峰,陈国良;对分布式共享存储中的伪共享的动态控制[J];计算机研究与发展;1999年03期
8 谢向辉,韩承德,唐志敏;分布共享存储系统中的数据预送技术[J];计算机学报;1999年03期
9 ;共享存储有软功[J];每周电脑报;1999年32期
10 尹文轩;高翔;朱晓静;郭德源;;基于共享存储的高可伸缩嵌入式集群模型[J];计算机研究与发展;2012年S1期
中国重要会议论文全文数据库 前2条
1 袁辉;;数据化新闻生产系统中的共享存储与存储管理[A];中国电影电视技术学会影视科技论文集[C];2003年
2 徐家雷;张水花;;数据共享存储技术在L2过程计算机系统中的应用[A];中国计量协会冶金分会2007年会论文集[C];2007年
中国博士学位论文全文数据库 前5条
1 毛永捷;用户级通信在软件分布式共享存储系统中的应用[D];中国科学院研究生院(计算技术研究所);2000年
2 施巍松;软件分布式共享存储系统的性能优化[D];中国科学院研究生院(计算技术研究所);2000年
3 苗乾坤;面向共享存储系统的计算模型及性能优化[D];中国科学技术大学;2010年
4 史岗;支持软件分布式共享存储系统的机群通信技术[D];中国科学院研究生院(计算技术研究所);2004年
5 戴华东;并行分布操作系统共享存储管理及其优化技术的研究[D];国防科学技术大学;2002年
中国硕士学位论文全文数据库 前10条
1 刘旭民;一种避免伪共享的分布式共享存储协议的设计与实现[D];暨南大学;2003年
2 李明;基于工作站网络的分布式共享存储系统的设计[D];中国科学院研究生院(计算技术研究所);1997年
3 孙春玲;基于局域网的共享存储研究[D];北京交通大学;2008年
4 张雪冰;SAN技术及其在异构网络共享存储系统中的应用研究[D];西北工业大学;2005年
5 刘海明;基于SMP机群的虚拟共享存储系统[D];中国科学院研究生院(计算技术研究所);2001年
6 杨俊;基于存储共享的NISO-MEFS研究[D];西南交通大学;2006年
7 尹宏达;共享存储机群中用户级通信协议的实现和性能[D];中国科学院研究生院(计算技术研究所);2004年
8 陈昕鹏;基于SAN的共享存储系统的研究与实现[D];复旦大学;2012年
9 郭琳燕;高容错分布式共享存储机制的研究与系统实现[D];成都理工大学;2004年
10 孙文杰;基于面向领域搜索引擎的分布式共享存储解决方案[D];天津大学;2007年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026