收藏本站
《哈尔滨工业大学》 2011年
收藏 | 手机打开
二维码
手机客户端打开本文

数据网格QoS保障与资源优化关键技术研究

曲明成  
【摘要】:网格是一种先进的信息技术基础设施,目的是有效整合Internet上广泛分布的各种计算资源、存储资源、通信资源、信息资源等,向用户提供虚拟、统一、透明的计算环境。数据网格作为网格计算领域的一个分支,已经得到学术界的极大关注。数据网格是指广域范围内,对大规模的数据集进行分布式管理、分析及使用的一个综合体系结构。数据网格实现了安全、可靠和有效的数据传输、访问、存储和副本管理等操作,并提供到不同存储系统的统一的接口,从而使得数据密集型高性能计算及科学研究成为可能。 Ian foster指出网格最基本的一个特征就是“提供非凡的服务质量(QoS)”。为了保障数据网格具有较高的QoS,需要克服网络以及网格节点的诸多不稳定因素,而资源(能力)预留、副本部署、缓冲区机制、并行数据传输和数据存储与恢复是解决这类问题的主要手段和当下研究的热点问题。海量数据存储和传输导致大量网络传输、存储资源、节点资源的不必要浪费,致使高峰时刻网格服务接纳率的急剧降低,带来整体QoS的下降。目前多数研究更关注于从某方面提升服务质量,而较少的考虑资源的优化调度问题,从而在保证QoS的同时一定程度上降低了网格系统整体资源的使用率。 本文从“保障QoS是基础,优化资源的使用是目标”这一宗旨出发,深入研究了如何在保障数据网格QoS的同时对使用的资源进行有效优化的问题。论文将数据网格最基本的功能(数据存储和数据传输)在服务级QoS层面分解为5个主要子服务(传输、存储、缓存、节点选择、资源预留),针对不同的子服务采用了特定手段达到了QoS保障与资源优化的双重目标。具体为: (1)多副本部署可以提升数据的可靠性和数据服务带宽,降低网络负载,基于多副本的并行传输算法可以极大提升传输速度,保障数据服务的QoS,但是多个完整副本部署对存储空间和网络传输的消耗极大。本文首先提出了一个数据的分布式存储模型,存储模型在存储空间使用上具有较大的优势(存储优化),同时具有P完整性,可以保证在任意P个节点失效时数据仍然完整;基于存储模型给出了一并行传输调度器,在双副本冗余度时调度器可以适应节点间速度的较大差异,以调度器为基础给出了一个并行传输算法,配置合理参数,算法可以达到基于多个完全副本的并行传输速度。 (2)为了保障数据存储的可靠性,基于并行传输的动态数据恢复是数据网格应具备的能力。在优化使用存储空间前提下,不但要保障数据存储的基本QoS指标:可靠性和可用性,同时还必须兼顾数据的易用性。本文基于分布式存储模型,结合节点失效性、动态恢复过程和数据交换中心策略,以本文提出的调度器、并行传输算法并结合泊松分布定理,提出了一个动态的数据恢复模型。数据恢复模型较双副本存储具有更低的数据失效概率,较纠删码策略具有更强的易用性。 (3)为了克服网络的不稳定性,数据缓存是网络应用较为常用的一个主要策略。考虑数据的海量特性以及资源有限性,在数据缓存服务中需要优化配置缓冲区大小,并应考虑诸多因素,包括:数据源节点的失效性、参与服务的节点集合、各节点的传输速度、任务对数据失效时间的约束以及对整体失效的要求等。本文通过引入有限缓冲区模型,从数据消耗者角度出发,以多副本存储和并行传输模式为基础,推导出一个服务失效模型,该模型有效表述了影响服务失效的各种参数间的量化关系,进行了仿真实验,将模型理论值与实验值进行了对比分析,取得了较好的结果,达到了缓冲区和服务节点的优化配置,缓存服务QoS保障的目标。 (4)基于多副本进行并行数据传输的一个重要问题是:在满足服务可靠性、传输时间等QoS约束的前提下,如何能够合理选择节点资源。本文提出了两个模型,模型能够对网格节点的传输速度、可靠性、传输距离、网络状态、带宽约束等因素进行综合决策,从而给出最优的服务节点集合,使达到合理使用节点资源、降低网络负载、降低服务请求的容忍度、提升高峰时网格系统的接纳率与服务质量并保证一次服务代价最小的多重优化目标。 (5)资源预留是保障数据网格任务顺利完成的基本前提,预留请求的接纳率直接影响到服务的QoS。资源能力从宏观上更好的描述了资源的数量和使用情况,对于资源的预留服务提供了强有力的支撑。合理的调配资源能力,可以降低资源能力碎片,提升高峰时刻网格系统的吞吐量和接纳率,使达到优化资源、保障QoS的双重目标。本文提出了基于并行加速比和四元法资源能力预留策略,与先前机制相比使网格系统可以根据预留请求的综合信息进行主动决策,并对预留请求进行一定的资源能力变换,进一步优化资源的使用,有效降低资源能力碎片,提升高峰时刻服务接纳率。 个体服务QoS保障与资源优化可以提升网格系统整体资源的利用率,从而可以在高峰时刻提升服务请求的接纳率和个体服务的QoS。
【学位授予单位】:

知网文化
【相似文献】
中国期刊全文数据库 前20条
1 黄斌,李春江,肖侬,刘波,付伟;基于Cluster的数据网格请求代理服务器设计[J];计算机应用研究;2004年09期
2 王意洁,肖侬,任浩,卢锡城;数据网格及其关键技术研究[J];计算机研究与发展;2002年08期
3 杨东华,李建中,张文平;基于数据网格环境的连接操作算法[J];计算机研究与发展;2004年10期
4 侯松霞;鲁晓明;;基于数据网格的数字图书馆[J];科技情报开发与经济;2007年36期
5 王福业;高敬阳;危胜军;;基于PM-chord算法的数据网格副本定位方法[J];计算机工程;2009年02期
6 袁满;刘俊梅;刘铁良;李秀军;;基于模拟退火算法的数据网格副本部署策略[J];计算机工程;2009年17期
7 王大震,王淑静,宋瀚涛,潘浩;数据网格中的数据管理服务框架分析[J];计算机工程与设计;2004年01期
8 张建华,关佶红,王雷春,张俊;一种数据网格的元数据分类管理机制研究[J];武汉大学学报(信息科学版);2005年01期
9 侯松霞;;基于数据网格的数字化校园的实现[J];计算机与数字工程;2008年07期
10 卿春 ,卢艳 ,杨万全;下一代互联网中QoS/Mobility的分析[J];通信与信息技术;2002年06期
11 陶乃勇,刘文杰;第三代移动通信系统的QoS和资源管理[J];中国数据通信;2002年07期
12 王海涛,宋丽华;基于QoS套接字的多媒体业务QoS保障的研究[J];电视技术;2003年02期
13 陈年生,李腊元,孙强;基于MANET的QoS路由协议研究[J];计算机工程与应用;2004年30期
14 秦振;郭小一;张维明;邓苏;刘青宝;;面向精确信息服务的数据网格体系研究[J];科学技术与工程;2007年09期
15 董晓华;李季;吴中福;邓伟;;一种基于网格的教育资源管理模型[J];计算机科学;2007年08期
16 付雄;谢昀;邓松;;一种数据网格副本管理仿真软件[J];计算机应用与软件;2009年02期
17 李黎,陈意云,李津生;支持指定QoS的多媒体通信软件平台[J];小型微型计算机系统;1997年12期
18 王钢,刘晖,苏雁泳;IP电话数据包优先级设置及对QoS影响的研究[J];哈尔滨工业大学学报;2002年04期
19 侯胜利,李应红;分组交换网的服务质量及实现[J];现代电子技术;2002年05期
20 谈振辉,金晓军;第三代无线通信网络中业务质量管理[J];移动通信;2002年07期
中国重要会议论文全文数据库 前10条
1 李婷;;多约束条件下的QoS路由算法研究[A];第十二届中国青年信息与管理学者大会论文集[C];2010年
2 韩东红;王国仁;周锐;公丕臻;王剑;杜钰;;基于控制理论的数据流QoS自适应框架及卸载技术的研究[A];第二十三届中国数据库学术会议论文集(研究报告篇)[C];2006年
3 蒋玉新;段友祥;;Web服务中的QoS动态更新策略研究[A];CCF NCSC 2011——第二届中国计算机学会服务计算学术会议论文集[C];2011年
4 乔雷;;NGN应用环境中的IP QoS,任重而道远[A];中国通信学会信息通信网络技术委员会2003年年会论文集[C];2003年
5 杨明川;谭国权;;电信级IP QoS的研究[A];中国通信学会信息通信网络技术委员会2003年年会论文集[C];2003年
6 李祥军;邱雪松;詹志强;孟洛明;;基于策略的网络管理控制下的IP QoS业务接入控制[A];2003年通信软件技术学术年会论文集[C];2003年
7 段江娇;薛永生;;数据库中间件的QoS研究及设计[A];第二十届全国数据库学术会议论文集(技术报告篇)[C];2003年
8 易军;黄河;李太福;;基于DPSO的无线传感器网络QOS路由算法[A];中国自动化学会控制理论专业委员会C卷[C];2011年
9 王三海;杨放春;;软交换网络端到端QoS体系的研究[A];中国通信学会信息通信网络技术委员会2003年年会论文集[C];2003年
10 李斌兵;孙文海;;基于消防实时系统的QoS技术研究[A];第六届全国计算机应用联合学术会议论文集[C];2002年
中国重要报纸全文数据库 前10条
1 主持人 李健;构架新Qos[N];网络世界;2000年
2 记者 史芳;东芝Qosmio多媒体笔记本先声夺人[N];中国经济导报;2004年
3 CPW记者 张凤岐;东芝Qosmio采用最新引擎技术[N];电脑商报;2004年
4 本报记者 王皓;体验新“芝”味[N];计算机世界;2004年
5 本报记者 范毅波;QoS:网络活力之源[N];网络世界;2004年
6 胡琳 张国宏;IP QoS模型浅析[N];网络世界;2004年
7 本报记者 伊佳;个性化QoS对症NGN[N];通信产业报;2005年
8 喻峰萌;QoS护航视频会议[N];网络世界;2004年
9 ;提高统一通信QoS服务质量的4个步骤[N];网络世界;2009年
10 评测实验室 李洋;移动影音王[N];计算机世界;2005年
中国博士学位论文全文数据库 前10条
1 曲明成;数据网格QoS保障与资源优化关键技术研究[D];哈尔滨工业大学;2011年
2 漆华妹;基于网络演算的无线Mesh网络QoS性能研究[D];中南大学;2010年
3 朱红宁;面向Web服务组合的服务QoS评价技术的研究[D];东北大学;2009年
4 高雨;SUPANET多粒度QoS控制机制及其移动性管理技术研究[D];西南交通大学;2010年
5 王珩;基于QoS约束的组播路由算法研究[D];南京理工大学;2004年
6 陶春华;QoS感知的Web服务发现与组合研究[D];天津大学;2010年
7 赵村民;WEBGIS的QoS问题及关键技术研究[D];中国地质大学(北京);2005年
8 阳小龙;光突发交换网络中服务质量关键技术的研究[D];电子科技大学;2003年
9 谭伟;光突发交换中核心节点的关键技术研究[D];电子科技大学;2005年
10 刘正蓝;Internet QoS中带宽共享的公平性研究[D];浙江大学;2004年
中国硕士学位论文全文数据库 前10条
1 朱娟凤;视频会议系统的开发及其QoS研究[D];大连海事大学;2003年
2 张亮;MPLS网络中带宽保证的路由研究[D];天津大学;2004年
3 周立娜;基于QoS的Web服务发现方法研究[D];燕山大学;2010年
4 冯丽露;基于QoS约束的成本最优化网格任务调度模型与算法研究[D];西安建筑科技大学;2010年
5 谭亚丽;多维QoS约束下的网格任务调度算法研究[D];新疆大学;2010年
6 刘佳;互联网QoS监测系统的设计与实现[D];北京邮电大学;2010年
7 区永豪;视频会议QoS保障系统结构研究与设计[D];华南理工大学;2010年
8 华丹;基于QoS的蚁群优化在网格资源调度中的研究[D];南京信息工程大学;2011年
9 卫格格;一种支持QoS约束的Web服务组合的研究[D];西北大学;2010年
10 李紧;基于QoS和用户偏好的Web服务发现研究[D];武汉理工大学;2010年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978