收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于能耗和成本的资源管理与调度策略研究

马艳  
【摘要】:大规模计算系统采用高性能网络互联和并行处理方式显著提高了系统性能,不仅在石油勘探、国防航天、气象预报、军事模拟、工业设计等领域广泛应用,而且在金融证券、电信行业、政府信息化、教育、网络游戏等新兴领域的需求也迅猛增长,是人类探索未知世界的最有力武器。 随着系统规模的不断扩大,高端计算从单一追求高性能向高效能发展。鉴于高端计算系统高昂的运行成本、低可靠性和对环境的影响,能耗管理不仅是电池驱动设备的研究热点,也成为数据和计算中心运行的关键问题。随着技术创新,服务器的初始购置成本趋于下降,资本支出、营业费用和环境影响等的能耗相关成本却在持续上升。因此,提高功耗效率、实现绿色计算,是计算机和IT行业的技术发展潮流。 能耗指标作为一种系统需求,一方面受应用执行效率的影响,反过来其也会以资源或者服务使用成本的形式来影响用户。资源或服务使用成本的反映形式之一为价格。目前定价机制普遍缺少精确的数学模型,且很少与能耗指标相关联。这导致既不能保证系统能耗的有效降低,也不能优化用户的资源或服务使用成本,损害了市场双方的利益。因此,基于定价的成本优化管理是十分必要的。另外,从全局来看,整个系统资源的负载不均衡也会导致系统的运行成本增加、效能降低;同时,由于缺少协同,用户对优质资源的使用冲突,也使得用户资源或服务使用成本不降反增。因此,基于协作的负载均衡研究也是降低双方成本耗费的必要手段之一 系统效能的高低不仅依赖于系统硬件,很大程度上也由部署在体系架构上的资源管理系统决定。资源管理主要负责响应用户的资源请求、有效调度任务和合理分配资源,以保证用户的性能需求以及资源的使用效率。任务调度是资源管理的核心,为了优化某个目标函数,其在一组具有任意特性的处理机中对任务集合进行排序和资源分配。多任务的调度问题鉴于其NP复杂性、环境的多样性、应用的新需求和调度目标的折中性等,一直没有得到很好的解决,尤其在IT能耗成为影响全球能源和环境重要因素的背景下。 本课题在国家863计划和自然科学基金项目的支持下,针对大规模计算系统高效能需求的能耗和成本管理问题,以资源管理和任务调度为手段,通过分析功耗感知的资源管理方法、任务调度模型和当前调度算法的局限性,抽象出几个颇具挑战性的调度问题。这些调度问题的解决可有效弥补当前调度研究的局限和空白,有效兼顾不同运行环境的差异性、不同调度技术的单一性、不同应用的计算密集或者数据密集特性,以及不同QoS约束与性能指标的冲突性等问题。随着IT能耗持续上升、云计算商业模式日益普及和系统规模的不断扩大,围绕节能减排、市场模型和调度协同等问题的资源管理和调度策略研究具有重大的理论和应用价值。 针对基于能耗和成本的资源管理与调度,开展了如下研究和创新工作: 首先是基于独立任务的能耗感知调度。随着新技术迅速发展和系统更新换代,异构计算系统较同构计算系统更为普遍通用,但其在最大程度发挥并行处理优势的同时也增加了应用执行的复杂性和多样性。在分析已有调度算法和常用功耗感知资源管理技术优缺点的基础上,本文提出了独立任务在异构系统中基于动态电源管理技术的能耗感知时限调度算法。该算法面向高性能计算领域的长时间运行独立任务,不同于实时系统的周期性任务,也区别于类似http请求的短时间处理任务。通过分析异构多计算机系统的调度模型和兼顾应用的时限约束条件,首先证明该问题的NP复杂性,将其形式化并转换为整数线性规划模型,并设计了一个基于动态电源管理的高效时限调度算法,不仅从理论上给出其最差下界的求证过程,还用实验验证了其性能,有效弥补了只使用动态电压频率调整技术解决该类问题的片面性。实验表明,提出的算法具有与最优算法类似的能耗效率;与最早交期算法(EDD)相比,当时限值松弛时,平均节省能耗2%-20%,当时限值紧缩时,平均节省能耗5%-44%。为促进算法的市场化应用,基于提出的单位成本度量,本文还设计了将成本与能耗相关联的定价机制,并为用户提供了调节使用成本的手段,极大提高了用户节能的积极性。 其次,是基于依赖任务的能耗感知调度。对高度数据密集型工作负载的支持正成为下一代计算和数据中心的关键技术,因此,提出适合该类应用特征的特定调度框架和算法是亟待解决的问题。为解决已有依赖任务能耗感知调度在调度技术、通信能耗优化、系统异构性和静态能耗等方面的局限性,本文提出了数据密集应用在不同环境下的能耗感知调度算法。首先研究同构计算系统,建立相应的系统模型、应用模型和能耗模型,提出面向数据密集应用的能耗感知调度框架。然后以框架为基准,进一步平衡应用的优先约束性、系统的异构性和不同性能指标冲突性的关系,提出数据密集应用在兼顾计算资源和通信资源异构的环境中的能耗感知调度方案。对同构计算系统,根据是否支持动态电压频率调整技术,建立不同的系统模型,对其调度分别予以讨论。数据密集应用具有海量数据传输,其复杂的优先约束关系、通信时间、通信能耗均不可忽略,因此引入考虑降低通信成本的方法,如任务复制、任务聚类、动态映射参数等,来适应该领域的特定需求。随着芯片微型化和多核技术的发展,泄漏电流引起的静态功耗由于单位工艺尺寸内电子组件数的增加而呈指数增长,因此引入粗粒度或细粒度的动态电源管理技术来降低不可忽略的静态能耗。另外,算法的调度性能和能耗指标是相互冲突的,本文各种技术的引入和实施均对执行时间和能耗指标进行了有效的限定折中。实验表明,各种调度框架和方案的提出,既适应了环境和应用的特征,又可高效地保证调度目标的实现。 再次,研究基于定价的成本优化调度。系统的能耗指标以资源或服务使用成本的形式反映给用户。为保证系统和用户双方的利益,本文以市场驱动的执行引擎调度框架为基础,提出基于边际定价和成本梯度的成本优化调度算法。该算法从用户角度出发,提出对资源分配、提供者利润和成本调度均有重要影响的定价机制。该定价机制利用经济学的边际原理,建立了精确的数学模型,其兼顾多个资源的有限使用特性,取得了较高的资源节点收益和资源利用率。成本优化调度则以动态的方式实施全图调度,克服了任务图划分策略的弊端,具有较好的成本优化能力。成本梯度因子通过查找以最大时间降低获得最小成本增加的服务,在算法实施陷入困境时帮助快速地找到近似最优服务。在算法执行过程中,还使用了有效的剪枝策略,降低了调度的计划时间。另外,在分析成本优化映射问题的过程中,提出了一种新颖的矩阵树形扩展分析方法,使问题的分析既直观又高效。 最后,提出基于协作机制的双层负载均衡调度策略。该策略兼顾执行引擎和底层资源两个层面的负载均衡,为提高系统性能和降低成本提供了有力保障。用户提交的应用首先提交给执行引擎解析,解析后的任务传给底层调度器,最后由具体系统资源完成任务的执行。因此,执行引擎相对大规模计算平台,属于所提交应用的上层服务。本文策略旨在解决系统具有多个调度入口、多执行引擎之间缺乏协作和底层资源调度冲突的问题。首先详细分析了调度引擎的功能框架和负载消耗,并在此基础上给出引擎和资源节点的实时负载模型和即将执行应用的预测负载模型。提出协作式体系结构,调度器和资源的状态信息通过监控、计划和分析线程实时收集和评估,为效用函数的计算提供准确依据。提出的基于性能模型的高层和底层调度算法,既兼顾了调度引擎和底层资源的负载均衡,又考虑了应用的执行时间和传输时间等服务质量的需求。 在上述研究工作的基础上,下一步还需要在静态功耗优化、资源综合管理和实验评测等方面进一步开展工作。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 王福;;新型图书馆低成本建网模式的优化设计[J];内蒙古农业大学学报(社会科学版);2010年01期
2 梁强;张文;;WDM网络中的整数规划分析[J];光通信技术;2010年04期
3 姜剑;;报业集团多元化经营的利益与成本分析及其对策[J];现代商业;2008年33期
4 ;要性能,更要节能[J];每周电脑报;2008年34期
5 王刚;张立勋;王立权;;八足仿蟹机器人步态规划方法[J];哈尔滨工程大学学报;2011年04期
6 陈海斌;付连宇;邹卫贤;;基于可靠性分析的PCB用微钻寿命优化浅析[J];印制电路信息;2008年07期
7 ;戴尔或可借Linux翻身[J];每周电脑报;2007年08期
8 王今范;王公真;姜士凯;张佑;;冷水机组节能驱动与控制系统的选择与计算(三)[J];智能建筑电气技术;2009年06期
9 ;我国全年单位工业增加值能耗有望同比下降6%[J];世界电信;2010年10期
10 王今范;王公真;姜士凯;张佑;;冷水机组节能驱动与控制系统的选择与计算(一)[J];智能建筑电气技术;2009年04期
11 王今范;王公真;姜士凯;张佑;;冷水机组节能驱动与控制系统的选择与计算(二)[J];智能建筑电气技术;2009年05期
12 胡晓女;;263助你实现“利润最大化,成本最小化”[J];通信世界;2006年17期
13 董侨琦;;运营外包服务实现“盈利最大化,成本最小化”[J];通信世界;2007年29期
14 ;酷睿架构打造能耗比先锋[J];计算机与网络;2007年19期
15 顾国林;;新PC能否让你更省电?——新酷睿i台式机能耗测试[J];微电脑世界;2010年04期
16 何红雷;激淡;;百款PC能耗大评测(第一章)——触摸PC性能,把脉PC功耗[J];微电脑世界;2010年09期
17 ;业界要闻[J];中国电子商情;2001年17期
18 ;TI的IP质量管理软件改善网络服务质量[J];世界电子元器件;2006年02期
19 吴聘蕊;;企业信息化建设—PDM与ERP的一体化实施[J];铁路通信信号工程技术;2007年03期
20 陈静静,孙斌华;跨文化传播的民族主义解读——丰田"霸道"广告个案研究[J];新闻大学;2004年04期
中国重要会议论文全文数据库 前10条
1 高甫生;崔宇捷;;高层建筑空气渗透能耗比例动态分析[A];全国暖通空调制冷1998年学术文集[C];1998年
2 赵志军;李红旗;;家用电冰箱的能耗分析及节能研究[A];第六届全国低温与制冷工程大会会议论文集[C];2003年
3 田汉族;;中国教育改革深化阶段面临的问题及其化解——基于成本分析视角[A];2005年中国教育经济学年会会议论文集[C];2005年
4 孙文利;王俊平;胡兴斌;张献清;吴原茹;穆士杰;;血液筛检试剂成本最小化策略[A];中国输血协会第三届输血大会论文专辑[C];2004年
5 林森;李玲;付刚;龙恩深;;重庆某政府办公楼能耗审计实例分析[A];2007年西南地区暖通空调及热能动力学术年会论文集[C];2007年
6 陈正华;;中央与地方分权的成本收益与交易成本——法经济学的视角[A];2007年全国法经济学论坛论文集[C];2007年
7 胡玉梅;胡劲松;;LR型模糊需求下连续盘点库存策略研究[A];第十届中国管理科学学术年会论文集[C];2008年
8 ;历经数年攻关能耗下降三成[A];2009全国染整行业节能减排新技术研讨会论文集[C];2009年
9 张晓文;;地热技术在温室降温中的应用研究[A];2010中国环境科学学会学术年会论文集(第四卷)[C];2010年
10 徐广姝;刘文政;;特色农产品配送成本最小化的分布式网络设计研究[A];2009年度中国总会计师优秀论文选[C];2011年
中国博士学位论文全文数据库 前10条
1 马艳;基于能耗和成本的资源管理与调度策略研究[D];山东大学;2012年
2 马卫武;铁路客运站候车环境与能耗研究[D];中南大学;2009年
3 王鑫;公共建筑用能分项计量综合关键技术研究[D];清华大学;2010年
4 王祥;中国能耗强度影响因素分析与节能目标实现[D];东北财经大学;2012年
5 吕大忠;国有企业改革的方向:反垄断和市场化[D];南开大学;2010年
6 童乙伦;基于讨价还价博弈的中国改革逻辑[D];浙江大学;2011年
7 白冰;基于有限理性、心智成本基础上的金融意识和金融秩序研究[D];西南财经大学;2008年
8 王明寿;中小物流企业基于业务延伸的竞争与成长策略研究[D];天津大学;2011年
9 刘诚;供应链网络优化[D];中南大学;2006年
10 刘文平;混合品种汽车装配线平衡与排序问题研究[D];山东大学;2009年
中国硕士学位论文全文数据库 前10条
1 王闻环;EMQ-JIT成本平衡点分析[D];重庆交通大学;2010年
2 李哲;中国住宅中人的用能行为与能耗关系的调查与研究[D];清华大学;2012年
3 雷臻;配退货系统库存与运输成本最小化策略研究[D];四川大学;2004年
4 张声远;中国七城市个人消费领域能耗及个人行为模式调查研究[D];清华大学;2010年
5 肖春平;基于语音板卡的呼叫中心研究[D];华东师范大学;2007年
6 王后帅;水源热泵输配系统能耗问题研究[D];重庆大学;2012年
7 王世凯;集装箱码头泊位资源优化配置研究[D];上海海事大学;2007年
8 焦扬;动力分散系统的优化与应用研究[D];武汉科技大学;2010年
9 黄立林;煤矿生产系统能耗分析方法研究[D];山东科技大学;2011年
10 荣剑文;冷机群控系统设计[D];上海交通大学;2008年
中国重要报纸全文数据库 前10条
1 鞠伟;山东省人大着力加强立法和监督[N];中国环境报;2007年
2 钱兰;市级机关开展资源节约活动[N];泰州日报;2008年
3 本报记者 宋时飞;打好下半年节能减排攻坚战[N];中国经济导报;2008年
4 记者 杨建华 通讯员 胡明武;全省单位GDP能耗下降3.98%[N];云南日报;2008年
5 通讯员 李永利 常虹;秦皇岛万元工业增加值能耗降低1.12个百分点[N];河北经济日报;2006年
6 本报记者 邓琴;我市节能降耗实现新突破[N];韶关日报;2008年
7 记者 杨镇实习生 李潇;全省万元GDP能耗明显下降[N];济南日报;2007年
8 记者 常虹;靠技术进步降低能耗[N];秦皇岛日报;2006年
9 朱剑红;去年我国单位GDP能耗下降1.33%[N];人民日报;2007年
10 ;去年我国单位GDP能耗下降百分之一点三三[N];团结报;2007年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978