收藏本站
《中南大学》 2005年
收藏 | 手机打开
二维码
手机客户端打开本文

分布式计算中并行I/O调度策略研究

曾碧卿  
【摘要】:分布式计算系统越来越成为高性能计算的一种重要形式,分布式计算系统中并行I/O理论与技术是一个值得研究的重要课题。本文深入地研究了并行I/O数据文件分配存储和访问调度策略,提出了并行I/O数据文件分割、分配存储方法,其中包括了大型数据文件的分割策略和大量小型数据文件的分组策略,对数据存储资源的可扩展算法进行了研究,并对数据的访问调度和多维数据的分配存储与访问提出了新的算法。 本文针对分布式计算并行I/O中大型数据文件的分布存储,提出了数据分割存储的新方法,即已知知识的文件拆分与分配策略(KKFDA),它能够保证在将大型数据文件分割为文件数据块存储时,保证文件分布存储方式与访问方式的一致性,提高磁盘本地命中率、降低数据访问延迟。 本文针对由大量小文件组成文件组的分配存储问题,在研究相应数据文件分发策略的基础上,提出了二种具有可扩展性的策略,即可用百分比决策(APD)和分段选择与可用百分比决策相结合(CSSAPD)的自适应数据分配策略。另外,考虑对每个磁盘上文件服务时间变化的优化,本文还提出了一种新的应用于分布式计算环境的启发式文件分类分配策略(HFSA)。它在保证系统负载基本均衡的前提下,按相似的访问服务时间对每个待分配的数据文件进行磁盘分配,使服务时间相同或相近的文件分配到同一个磁盘上,这样就能够降低每一个磁盘上文件服务时间的变化,提高分布式计算系统的性能。 本文在并行I/O访问策略方面提出了自适应平等划分I/O调度(AEQUI)和二次调度自主维护负载平衡动态I/O调度(DIO TSMB)二种新策略。自适应平等划分I/O调度策略在进行并行I/O访问的负载平衡时,既考虑了未分配的I/O请求在I/O服务器上进行平等的分配,又考虑到了已经分配到某一台I/O服务器上任务处理的实际情况,是一种有效的新方法。DIO TSMB是基于负载平衡策略中的接收者驱动策略提出来的,应用于分
【学位授予单位】:中南大学
【学位级别】:博士
【学位授予年份】:2005
【分类号】:TP338.8

免费申请
【引证文献】
中国期刊全文数据库 前1条
1 曾碧卿;陈志刚;吴锐珍;;P2P网络支持复杂多维数据搜索的范围查询算法[J];计算机工程;2007年22期
【参考文献】
中国期刊全文数据库 前10条
1 蒋江,张民选,廖湘科;基于多种资源的负载平衡算法的研究[J];电子学报;2002年08期
2 刘心松;具有分布式并行I/O接口的分布式并行服务器系统的性能研究[J];电子学报;2002年12期
3 龙翔,李忠泽,高小鹏,李未;提高可扩展并行机群并行I/O效率的一个方法[J];计算机研究与发展;2000年06期
4 曹强,谢长生;网络存储系统中I/O请求响应时间的研究[J];计算机研究与发展;2003年08期
5 游赣梅,廖华明,李峰;信息网格中具有动态变更适应性的元数据发布策略[J];计算机研究与发展;2003年12期
6 吴吉庆,刘衡竹,王海涛;基于CC-NUMA结构的IO系统设计[J];计算机研究与发展;2005年06期
7 吴巨红,罗铁庚,龚正虎;网络计算管理研究[J];计算机工程与应用;2000年01期
8 李群;谢立;孙种秀;;并行文件系统的设计[J];计算机科学;1996年04期
9 卢凯,金士尧,卢锡城;并行文件系统中适度贪婪的Cache预取一体化算法[J];计算机学报;1999年11期
10 可向民,龚正虎,周兴铭,钟国涛,姜玉琴;多服务交换资源虚拟分割算法的研究[J];计算机学报;2002年10期
【共引文献】
中国期刊全文数据库 前10条
1 黄河清;宋晓华;曹元大;;异构存储系统中基于能量模型的文件迁移策略[J];北京航空航天大学学报;2007年09期
2 黄河清;宋晓华;曹元大;;网格存储中的自适应负载平衡策略[J];北京理工大学学报;2007年04期
3 赵丽萍;故障转移在数字图书馆服务器架构中的应用分析[J];图书与情报;2005年03期
4 赵阳;易先清;罗雪山;;天基预警系统任务/资源形式化描述研究[J];重庆邮电大学学报(自然科学版);2008年04期
5 韩塞北;;网络存储主流技术比较及分析[J];长春师范学院学报;2010年12期
6 张彬;蒋涛;;P2P信息检索技术浅析[J];重庆工学院学报(自然科学版);2007年06期
7 刘克剑,刘心松,左朝树;区分任务类型的资源负载平衡算法——TDSA[J];电子科技大学学报;2004年05期
8 唐续,刘心松,杨峰,刘谐;分布式并行服务器中的高性能通信研究[J];电子科技大学学报;2005年02期
9 牛新征;佘堃;路纲;周明天;;基于RBAC技术的P2P安全机制的研究[J];电子科技大学学报;2007年03期
10 邵鹰;刘业;;SPIS-DSS:一种基于Chord的分布式存储系统[J];东南大学学报(自然科学版);2007年04期
中国重要会议论文全文数据库 前6条
1 梁达;王涛;郑为东;杨柳;;浅析P2P网络存储[A];广西计算机学会2004年学术年会论文集[C];2004年
2 梁达;王涛;郑为东;杨柳;;浅析P2P网络存储[A];广西计算机学会——2004年学术年会论文集[C];2004年
3 董晓;;公路信息系统中的数据存储与管理技术研究[A];江苏省公路学会优秀论文集(2006-2008)[C];2009年
4 那文武;孟晓烜;柯剑;朱旭东;许金萍;李一鸣;卜庆忠;许鲁;;BW-VSDS:大容量、可扩展、高性能和高可靠性的网络虚拟存储系统[A];第15届全国信息存储技术学术会议论文集[C];2008年
5 张英朝;张维明;肖卫东;黄金才;;信息网格中基于本体的信息共享全局视图构建方法研究[A];第二十一届中国数据库学术会议论文集(研究报告篇)[C];2004年
6 杜蓓;陈飞波;钱卫宁;周傲英;;基于对等计算技术的内容共享与搜索[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
中国博士学位论文全文数据库 前10条
1 马鑫;基于协同机制和智能算法的多代理系统研究及应用[D];吉林大学;2011年
2 郭良敏;P2P文件共享系统中的副本技术研究[D];中国科学技术大学;2011年
3 霍英;基于超节点体系结构的P2P覆盖网优化技术研究[D];中南大学;2011年
4 何倩;P2P系统性能优化若干关键技术研究[D];北京邮电大学;2010年
5 赵铁柱;分布式文件系统性能建模及应用研究[D];华南理工大学;2011年
6 陈建英;基于数字有机体数据库系统的搜索定位研究[D];电子科技大学;2011年
7 常光辉;大规模分布式可信监控系统研究[D];重庆大学;2011年
8 陈汉华;基于对等网络的大地规模内容检索研究[D];华中科技大学;2010年
9 刘志明;对等存储系统数据管理研究[D];国防科学技术大学;2011年
10 曾文英;面向移动环境的数据存储管理方法关键技术研究[D];华南理工大学;2011年
中国硕士学位论文全文数据库 前10条
1 王春力;基于P2P的网络音频捕获与多路混音算法研究[D];山东科技大学;2010年
2 林治晖;基于WEB服务的高可扩展性机群管理系统的研究与实现[D];山东科技大学;2010年
3 王野;基于Web的柔性报表系统的研究与实现[D];哈尔滨工程大学;2010年
4 张伟;P2P系统中资源搜索定位机制的研究[D];哈尔滨工程大学;2010年
5 苗玉霞;结构化对等网络的搜索机制研究[D];中国海洋大学;2009年
6 刘震宇;基于VMware vSphere4.0的PC服务器资源池构建[D];大连海事大学;2010年
7 赵磊;适应多核处理器的任务调度研究[D];哈尔滨理工大学;2010年
8 谭伟良;集群作业调度优化技术研究[D];昆明理工大学;2009年
9 柏宏斌;基于B/S架构的信息管理系统理论研究[D];电子科技大学;2010年
10 史富波;基于HLA仿真集成平台数据管理的研究与实现[D];西安电子科技大学;2009年
【二级引证文献】
中国期刊全文数据库 前2条
1 陈保平;焦小炜;;基于P2P分布式多维平衡树的数据索引结构的复杂查询[J];河北省科学院学报;2008年03期
2 刘金岭;;基于P2P网络的AVL索引树范围查询研究[J];微电子学与计算机;2011年02期
中国硕士学位论文全文数据库 前1条
1 路会宾;基于二维索引的结构化P2P高维数据范围检索[D];大连理工大学;2009年
【二级参考文献】
中国期刊全文数据库 前10条
1 冯丹,张江陵;不同负载分布下磁盘阵列响应时间分析[J];计算机研究与发展;2001年09期
2 李伟,徐志伟;一种网格资源空间模型及其应用[J];计算机研究与发展;2003年12期
3 王世铀,郭福顺,臧天仪;微核心操作系统的结构对性能的影响[J];计算机研究与发展;1999年01期
4 可向民,龚正虎,钟国涛,姜玉琴;面向应用的可编程报文转发技术研究[J];计算机工程与应用;2001年19期
5 钟国涛,可向民,龚正虎,刘波;可编程路由器原型系统的设计与实现[J];计算机工程与应用;2002年14期
6 黄金贵;陈建二;陈松乔;;并行环境下基于多处理机任务的调度模型与调度算法[J];计算机科学;2002年04期
7 卢锡城,肖侬,刘波;基于高速网络的广域高性能并行与分布式计算[J];计算机工程与科学;1998年03期
8 吴飞,任鸿,陈福接;连续媒体流的理论模型及缓冲对策研究[J];计算机学报;1999年01期
9 刘衡竹,陈旭灿,陈福接;视频点播服务器中服务策略的研究[J];软件学报;1999年01期
10 傅强,郑纬民;一种适用于机群系统的任务动态调度方法[J];软件学报;1999年01期
【相似文献】
中国期刊全文数据库 前10条
1 邱树伟;;若干云计算技术关键问题剖析[J];琼州学院学报;2010年02期
2 张维奇,黄亚平,夏洪山;基于WWW的分布式计算[J];南京航空航天大学学报;2000年06期
3 张葵,邵新宇,朱海平;面向虚拟产品设计的专家协同评审系统[J];华中科技大学学报(自然科学版);2002年10期
4 王芸;王芬;吴志强;;基于网络通讯与分布运算技术的交通仿真研究[J];科技广场;2007年07期
5 李冰;许炜;肖宇;;基于网闸的分布式工作流系统[J];计算机与数字工程;2008年09期
6 李芳芳;;云计算现状综述[J];电脑知识与技术;2011年04期
7 王俊珠;;关于网络通讯分布与仿真技术的探究[J];经营管理者;2011年09期
8 史金松,陈贵海;网络环境下分布式并行计算研究[J];小型微型计算机系统;1994年01期
9 陈涵生;未来的分布式计算[J];计算机周刊;1997年19期
10 陈平,陈年生;分布式Power Builder技术及实现[J];吉林化工学院学报;1999年03期
中国重要会议论文全文数据库 前10条
1 李庆印;;公安数据备份技术研究及策略设计[A];全国计算机安全学术交流会论文集(第二十二卷)[C];2007年
2 昝涛;王民;费仁元;徐洪安;;基于LabVIEW的网络监测与诊断系统中数据传输与存储机制研究[A];设备监测与诊断技术及其应用——第十二届全国设备监测与诊断学术会议论文集[C];2005年
3 李彬彬;易宝林;刘斌;;基于信源学的植被光谱数据的存储技术研究[A];2009通信理论与技术新发展——第十四届全国青年通信学术会议论文集[C];2009年
4 李晓辉;;中小电台数据管理[A];2006全国广播电视发射技术论文集(1)[C];2006年
5 宾月景;黄蕾;赵福群;黄新;张复实;;轮烯金属配合物应用于高密度光存储体系的研究[A];2006中国科协年会——数字成像技术及影像材料科学学术交流会论文集[C];2006年
6 杨甲森;赵娜;;行星数据系统研究[A];中国空间科学学会空间探测专业委员会第十九次学术会议论文集(上册)[C];2006年
7 宾月景;赵福群;黄蕾;黄新;张复实;;轮烯金属配合物应用于高密度光存储体系的研究[A];提高全民科学素质、建设创新型国家——2006中国科协年会论文集(下册)[C];2006年
8 谈超洪;陈友初;李承林;;广西电子政务外网数据中心设计与应用[A];广西计算机学会2008年年会论文集[C];2008年
9 陈进才;程伟;陈希;周功业;;寄生存储冗余机制与实现技术[A];第15届全国信息存储技术学术会议论文集[C];2008年
10 苏波;陈芳;;GE Smallworld:一个面向企业的GIS平台[A];中国地理信息系统协会第三次代表大会暨第七届年会论文集[C];2003年
中国重要报纸全文数据库 前10条
1 ;网络存储是校园数据存储的新希望[N];中国电脑教育报;2006年
2 本报记者 傅桦;中国市场养肥数据存储巨头[N];第一财经日报;2006年
3 赫澄;EMC购RSA,存储牵手安全[N];中国国门时报;2006年
4 饶宇锋;数据存储是当下互联网最大商机[N];财经时报;2007年
5 日立数据系统公司CTO Hu Yoshida;数字化医疗的挑战[N];中国计算机报;2009年
6 谭勇 晓弈;网络时代的数据存储[N];人民邮电;2001年
7 本报记者 张旭;IBM为中国企业数据存储开“新方”[N];经理日报;2003年
8 四川 万琳;提高24C04数据存储可靠性的方法[N];电子报;2002年
9 记者 蓝岸;我市建成华南最大互联网数据中心[N];深圳特区报;2006年
10 舒楚明;用新理念构建黄河数据存储和管理新体系[N];黄河报;2006年
中国博士学位论文全文数据库 前10条
1 曾碧卿;分布式计算中并行I/O调度策略研究[D];中南大学;2005年
2 杨际祥;并行与分布式计算负载均衡问题研究[D];大连理工大学;2012年
3 王强华;基于公共信道信令模型的网格体系结构研究[D];西北大学;2006年
4 姚鹤岭;基于REST的GIS Web服务研究[D];中国人民解放军信息工程大学;2005年
5 刘克中;无线传感器网络分布式节点定位方法研究[D];华中科技大学;2006年
6 骆正虎;移动Agent系统若干关键技术问题研究[D];合肥工业大学;2002年
7 周东;基坑支护工程遗传优化设计研究[D];广西大学;2002年
8 程欣;面向环和结的分布式死锁检测算法研究[D];哈尔滨工业大学;2006年
9 谢鲲;布鲁姆过滤器查询算法及其应用研究[D];湖南大学;2007年
10 刘天桢;基于多维数据分析的神经网络与分布式计算研究[D];武汉理工大学;2008年
中国硕士学位论文全文数据库 前10条
1 马伟明;基于遗传算法的分布式任务调度系统的分析[D];大连理工大学;2008年
2 向晓明;基于分布式蚁群算法的TSP问题研究[D];西南交通大学;2009年
3 李潮;低压减载参数优化问题的分布式计算研究[D];浙江大学;2011年
4 张先义;基于外辐射源的无源雷达的数据采集与分布式计算[D];南京理工大学;2004年
5 唐海涛;J2EE应用服务器架构设计和EJB容器的实现[D];大连理工大学;2006年
6 王明宇;基于Mesh网络连通性问题求解的分布式计算平台的设计与实现[D];中南大学;2004年
7 王坤;基于分布式计算技术的RP通用软件系统的应用研究[D];南京航空航天大学;2002年
8 吴荣腾;基于DCOM的分布并行计算系统[D];福州大学;2004年
9 罗元盛;基于索引的准同步检查点协议研究[D];湖南大学;2005年
10 郭春燕;基于SOA的企业应用的研究与实现[D];大连理工大学;2006年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026