收藏本站
《中国科学技术大学》 2011年
收藏 | 手机打开
二维码
手机客户端打开本文

云计算数据中心结构及其调度机制研究

刘晓茜  
【摘要】:自云计算出现以来,经过科学技术的不断发展,经过学术界与产业界的不断推进,云计算的应用正不断发展和深入,云计算也正在从理论走向实践。 随着云计算技术的不断成熟,数据中心也随之发展。今天的数据中心已经不只是一个简单的服务器统一托管、维护的场所,它已经衍变成一个集大数据量运算和存储为一体的高性能计算机的集中地。云计算数据中心涉及十万百万规模的服务器或PC机等,资源数量大,异构性强。其中,数据中心的网络结构是设计云计算数据中心必须考虑的重要因素,它为云计算数据中心的高扩展性和资源的高利用率提供充分保障。此外,数据中心引入的副本技术(Replica)虽然是一种提高可用性和性能的重要方法。它弥补了存储对象单点失效、容错性差、接入性能不高等问题;但是也引入以下几个方面的问题:副本一致性问题、负载均衡问题以及由副本产生的各种硬件和通信上的代价问题等等。 本文深入分析和总结云计算数据中心的新特征,从数据中心网络结构的扩展性与绿色节能问题、副本策略问题,以及调度机制出发,紧紧围绕上述三个问题展开研究。本文的主要研究工作如下: 首先,介绍了云计算的概念以及云计算数据中心的概念,针对传统数据中心的不足,着重介绍了云计算数据中心具备的特点。详细分析了由于云计算环境中的资源规模庞大,异构性强等特性产生的三个重要问题:数据中心网络结构的扩展性与绿色节能问题、副本策略问题、以及调度机制。 其次,针对云计算数据中心结构上的可扩展性及绿色节能问题展开研究。充分考虑了新型数据中心应具备的新特点,借鉴已有知名数据中心结构,依据著名科赫曲线,提出了一种新型数据中心网络结构——雪花结构。该结构充分考虑了数据中心的可扩展性,在保证交换机与服务器较低数量比例的前提下,可以在较短的平均路径内实现节点间路由机制,具有较小的网络开销,并降低能耗。 再次,针对云计算中的副本及基于副本的调度问题展开研究。提出了基于副本的调度模型;引入市场机制中的代价因素,通过综合考虑副本地理特性、网络状态、应用服务特点等因素,提出一种代价驱动的自适应副本策略,该策略针对不同应用的一致性与可用性的重要程度,以代价为驱动力来自适应地进行副本复制、副本销毁、副本迁移等操作,以达到负载均衡等目的;提出适用于该模型的,基于副本和数据中心网络结构的调度策略。实验表明,该调度策略可以有效缩短任务调度之前复制副本产生的传输时间,复制副本的平均最短路径仅仅是随机调度算法的一半。 最后,针对调度机制展开研究。为增大服务方的收益,本文从云计算资源提供方的角度出发,充分考虑优先级、时间调度底线、收益、资源风险等调度因素,分别提出云计算环境中的在线调度策略和批调度策略。模拟实验表明,提出的调度策略有效提高了任务完成的总数,增大了服务方收益,降低了服务方接受任务时承担的成本,促进了调度环境的和谐发展。 本文从云计算数据中心网络结构、副本机制、调度机制引出的问题出发,紧紧围绕这三个问题进行了深入研究,提出的数据中心网络结构,副本策略和调度机制不仅解决了相应问题,而且能够为云计算数据中心的后续研究提供借鉴和帮助。
【学位授予单位】:中国科学技术大学
【学位级别】:博士
【学位授予年份】:2011
【分类号】:TP308

【引证文献】
中国期刊全文数据库 前10条
1 李远征;佟国香;;云环境中基于混合和声算法的资源调度方案[J];电子科技;2016年10期
2 马将;唐万伟;张垒;;基于haloop的虚拟化云数据中心研究与设计[J];内蒙古师范大学学报(自然科学汉文版);2016年03期
3 卞扬;;云计算环境中数据中心网络结构的选择及其比较探析[J];科技展望;2015年27期
4 张以利;杨万扣;;移动云环境中基于Agent的缓存一致性维护策略[J];微型电脑应用;2015年11期
5 王世海;;论辽宁省环境数据管理中心的建设与实施[J];绿色科技;2015年06期
6 罗玲;;云计算环境下数据中心的研究[J];中国新通信;2015年11期
7 王世海;;辽宁省环境信息数据中心的应用研究[J];绿色科技;2015年05期
8 卢晓龙;牛冲;刘同文;张迎伟;;基于云平台的山东省地质灾害综合服务系统的设计与实现[J];山东国土资源;2015年02期
9 钟成;海滨;刘凯红;郑梓仪;宁静;;云计算在新指挥中心数据安全保护技术研究[J];电子技术与软件工程;2014年23期
10 方文;刘胜超;;大型企业私有云应用资源自动调度技术研究及应用[J];自动化博览;2014年11期
中国重要会议论文全文数据库 前1条
1 吕敏慧;詹庆明;郭华贵;;大数据视角的城市规划智慧管理途径探索[A];新常态:传承与变革——2015中国城市规划年会论文集(04城市规划新技术应用)[C];2015年
中国博士学位论文全文数据库 前10条
1 李元章;磁盘阵列节能数据布局与性能优化的研究[D];北京理工大学;2015年
2 梁庆中;混合云平台上多目标任务调度算法研究[D];中国地质大学;2015年
3 陈海蕊;基于太阳风仿真的存储模型及存储子系统关键技术研究[D];成都理工大学;2015年
4 黎明;云计算资源管理关键技术研究[D];电子科技大学;2015年
5 敬超;面向云数据中心的高效能调度及资源管理研究[D];上海交通大学;2014年
6 刘灿由;电子海图云服务关键技术研究与实践[D];解放军信息工程大学;2013年
7 黄兰秋;基于云计算的企业竞争情报服务模式研究[D];南开大学;2012年
8 杨国才;农业农村信息化云服务平台集成关键技术研究[D];西南大学;2012年
9 罗立群;绿色桌面云的关键技术研究[D];南京大学;2012年
10 宋言伟;基于P2P网络节点上下文的任务分解和调度方法研究[D];山东大学;2012年
中国硕士学位论文全文数据库 前10条
1 胡亚芳;基于IGSS的开放式数字地理信息系统平台构建研究[D];东华理工大学;2016年
2 陈静怡;云计算环境下基于改进粒子群算法的动态资源调度研究[D];南京信息工程大学;2016年
3 苏代玉;基于云桌面的高职院校教辅平台分析与设计[D];云南大学;2016年
4 谭明;基于Unity3D的数据中心可视化系统构建的关键技术研究[D];燕山大学;2016年
5 任平飞;基于启发式算法的云计算负载均衡问题研究[D];哈尔滨工业大学;2016年
6 刘林;基于遗传蚁群融合算法的云计算任务调度研究[D];湖南师范大学;2015年
7 王艳平;基于蚁群算法的云计算资源调度研究[D];曲阜师范大学;2015年
8 梁婷;云数据中心中基于人工萤火虫群优化算法的虚拟机部署问题研究[D];合肥工业大学;2015年
9 张垚;电力公司数据中心综合查询分析平台的设计与实现[D];电子科技大学;2015年
10 王继晨;云计算数据中心网络架构研究[D];上海大学;2015年
【参考文献】
中国期刊全文数据库 前2条
1 刘晓茜;杨寿保;郭磊涛;申凯;;网格市场中基于成本计算的任务调度研究[J];中国科学院研究生院学报;2008年03期
2 钱线;黄萱菁;吴立德;;初始化K-means的谱方法[J];自动化学报;2007年04期
中国硕士学位论文全文数据库 前3条
1 段明秀;层次聚类算法的研究及应用[D];中南大学;2009年
2 陆云;聚类分析数据挖掘方法的研究与应用[D];安徽大学;2007年
3 于翔;聚类分析中k-均值方法的研究[D];哈尔滨工程大学;2007年
【共引文献】
中国期刊全文数据库 前10条
1 李敏;张桂珠;;密度峰值优化初始中心的K-means算法[J];计算机应用与软件;2017年03期
2 朱纯;吴建华;潘毅;;关于优化K-medoids聚类算法搜索策略研究[J];计算机仿真;2016年10期
3 徐平安;唐雁;石教开;张辉荣;;基于薛定谔方程的K-Means聚类算法[J];山东大学学报(工学版);2016年01期
4 齐绪停;刘丽;;基于最小距离的k-means初始中心点优化算法[J];山东师范大学学报(自然科学版);2015年01期
5 王永贵;林琳;刘宪国;;基于改进粒子群优化的文本聚类算法研究[J];计算机工程;2014年11期
6 陈兴蜀;吴小松;王文贤;王海舟;;基于特征关联度的K-means初始聚类中心优化算法[J];四川大学学报(工程科学版);2015年01期
7 谢娟英;王艳娥;;最小方差优化初始聚类中心的K-means算法[J];计算机工程;2014年08期
8 吴涤单;;基于改进粒子群的K-means聚类算法[J];电脑知识与技术;2014年06期
9 高莹莹;朱维彬;;言语情感描述体系的试验性研究[J];中国语音学报;2013年00期
10 冯波;郝文宁;陈刚;占栋辉;;K-means算法初始聚类中心选择的优化[J];计算机工程与应用;2013年14期
中国硕士学位论文全文数据库 前10条
1 李海波;数据挖掘技术在DMA产销差系统中的应用[D];福建师范大学;2016年
2 高阳;短时和长时混合4D航迹预测算法研究[D];中国民航大学;2016年
3 王丽;聚类分析在协调我国区域性普通高等教育发展中的应用[D];山东大学;2016年
4 姚艳豪;GIS与文本信息提取支持下的公交扒窃犯罪时空模式研究[D];华东师范大学;2016年
5 胡昱璞;动态k值聚类的R-树空间索引构建[D];太原理工大学;2016年
6 李晓亚;中国大学生英语作文离题检测系统的研究与设计[D];中国科学技术大学;2016年
7 吴志宇;模糊聚类与GA混合聚类算法的应用研究[D];中国地质大学(北京);2016年
8 吴南;基于划分和层次聚类方法的手机销售客户的挖掘分析[D];燕山大学;2016年
9 胡朝阳;基于免疫优化算法的第三方物流配送中心选址研究[D];中北大学;2016年
10 吴蒙;无绝缘轨道电路补偿电容状态实时监测的研究[D];北京交通大学;2016年
【同被引文献】
中国期刊全文数据库 前10条
1 吴国芳;;云环境中基于布谷鸟搜索算法的多目标任务调度方案[J];计算机应用研究;2015年09期
2 孙一杰;张国良;张胜修;;一类异构多智能体系非线性协议下的一致性分析[J];计算机应用;2015年01期
3 李娟妮;华庆一;姬翔;;移动环境中任务分析及任务建模方法[J];计算机科学;2014年10期
4 田雪颖;刘衍珩;孙鑫;王亚洲;林佳佳;;一种动态的移动社交网络拓扑模型[J];计算机工程;2014年09期
5 罗亮;吴文峻;张飞;;面向云计算数据中心的能耗建模方法[J];软件学报;2014年07期
6 梁茹冰;刘琼;;移动计算环境中基于Agent技术的语义缓存一致性验证方法[J];计算机科学;2014年03期
7 李丹;陈贵海;任丰原;蒋长林;徐明伟;;数据中心网络的研究进展与趋势[J];计算机学报;2014年02期
8 储雅;马廷淮;赵立成;;云计算资源调度:策略与算法[J];计算机科学;2013年11期
9 王素贞;杜治娟;;基于移动Agent的移动云计算系统构建方法[J];计算机应用;2013年05期
10 邓维;刘方明;金海;李丹;;云计算数据中心的新能源应用:研究现状与趋势[J];计算机学报;2013年03期
中国博士学位论文全文数据库 前10条
1 张建萍;基于计算智能技术的聚类分析研究与应用[D];山东师范大学;2014年
2 程付超;面向海量遥感数据的分布式混合计算技术研究[D];成都理工大学;2014年
3 黄伟;太阳风加速与日冕加热机制的非线性传输模型研究[D];成都理工大学;2014年
4 夏军宝;空间科学大数据存储模型SP-HDF及应用研究[D];中国地质大学(北京);2013年
5 程紫尧;多种应用环境下安全认证协议的研究[D];北京交通大学;2013年
6 马飞;云数据中心中虚拟机放置和实时迁移研究[D];北京交通大学;2013年
7 李健;云计算环境下最小化运营开销的调度技术研究[D];北京邮电大学;2013年
8 蒋海波;海量数据存储系统的高可靠性关键技术研究与应用[D];电子科技大学;2013年
9 宋浒;面向用户服务需求的云计算管理机制研究[D];中国科学技术大学;2013年
10 陈军;基于G/S模式的空间分析云服务关键技术研究[D];成都理工大学;2012年
中国硕士学位论文全文数据库 前10条
1 孙聪;基于SDN技术的KVM虚拟机跨网段迁移研究[D];吉林大学;2015年
2 黄儒;面向云桌面的攻防反馈防御方案设计与系统实现[D];北京邮电大学;2015年
3 段卫军;云桌面虚拟化架构的研究与应用[D];内蒙古农业大学;2014年
4 齐昕;风电场运行数据采集和监控系统的研究与应用[D];华北电力大学;2014年
5 赵帅宇;云计算环境下虚拟机部署技术研究[D];吉林大学;2014年
6 程静;新一代数据中心网络新型网络架构研究[D];北京交通大学;2014年
7 葛亮;智能变电站在线监测系统测试平台的设计与实现[D];华北电力大学;2014年
8 杨涛;人体运动捕获数据关键帧提取算法研究[D];南京理工大学;2014年
9 刘晓建;电力设备状态信息并行数据挖掘方法研究[D];华北电力大学;2014年
10 郭亦兴;数据中心电源系统分析与节能探讨[D];长安大学;2013年
【二级引证文献】
中国期刊全文数据库 前1条
1 陈岩;高峰;董文菲;王克栋;郭宏;;基于云平台的城市绿地墒情系统[J];传感器与微系统;2016年06期
中国博士学位论文全文数据库 前6条
1 张煜锟;城镇化进程中农民信息化服务模式研究[D];东北师范大学;2016年
2 张忠杰;水上位置大数据索引方法的研究[D];大连海事大学;2015年
3 朱正平;面向数字油田的云数据服务架构研究[D];长江大学;2015年
4 王志军;苹果信息化管理数学模型及专业信息服务系统构建[D];山东农业大学;2014年
5 朱春鸽;虚拟计算环境下基于信任的资源调度关键技术研究[D];北京邮电大学;2014年
6 刘玮;农村信息化标准体系建设研究[D];湖南农业大学;2014年
中国硕士学位论文全文数据库 前1条
1 聂如云;云服务系统任务调度负载均衡的研究[D];首都经济贸易大学;2016年
【二级参考文献】
中国硕士学位论文全文数据库 前3条
1 陆云;聚类分析数据挖掘方法的研究与应用[D];安徽大学;2007年
2 徐仰彬;基于SOM的文本聚类及其在搜索结果中的应用[D];西安电子科技大学;2007年
3 李彬;径向基函数神经网络的学习算法研究[D];山东大学;2005年
【相似文献】
中国期刊全文数据库 前10条
1 江南;数据中心如何应付管理挑战[J];互联网周刊;2001年40期
2 ;简化管理挑战——惠普推实用数据中心解决方案[J];每周电脑报;2001年67期
3 李庆莉;去数据中心看一看——中国银行华北信息中心计划处处长云恩善谈数据中心运行、管理[J];中国金融电脑;2002年12期
4 马天蔚;;数据中心按需造[J];每周电脑报;2002年25期
5 戚丽,蒋东兴,武海平,冯珂;校园数据中心建设与管理方法的探索[J];教育信息化;2002年S1期
6 何俊山;您企业的数据中心2003了吗?[J];微电脑世界;2003年17期
7 ;挖潜数据中心[J];金融电子化;2004年07期
8 王琨月;;数据中心业务就绪[J];每周电脑报;2004年21期
9 包东智;新热点:创建下一代数据中心[J];上海信息化;2005年10期
10 ;把握数据中心建设五大看点[J];中国计算机用户;2005年10期
中国重要会议论文全文数据库 前10条
1 姚贇;;欧洲数据中心节能新技术[A];通信电源新技术论坛2011通信电源学术研讨会论文集[C];2011年
2 郭英鹏;;云计算环境下的数据中心网络发展初探[A];广东通信2010青年论坛优秀论文集[C];2010年
3 杨伟强;赵冰;牛风喜;邢建厂;;莱钢数据中心高可用性网络的研究与应用[A];第七届工业仪表与自动化学术会议论文集[C];2006年
4 郭捷夫;;基于云计算模型的绿色IT数据中心构建方案研究[A];2011年通信与信息技术新进展——第八届中国通信学会学术年会论文集[C];2011年
5 张赪军;黄红梅;白小霞;朱靖;;构建企业级虚拟数据中心[A];第六届全国信号和智能信息处理与应用学术会议论文集[C];2012年
6 关亚东;;财经传媒数据中心的发展趋势[A];中国新闻技术工作者联合会2013年学术年会、五届五次理事会暨第六届“王选新闻科学技术奖”和优秀论文奖颁奖大会论文集(广电篇)[C];2013年
7 沈洁;王浩;;云计算数据中心的节能结构及评测[A];2013年中国通信学会信息通信网络技术委员会年会论文集[C];2013年
8 刘涛;;论数据中心在烟草商业企业的应用[A];中国烟草行业信息化研讨会论文集[C];2004年
9 谢信耐;;以信息化促进体院管理改革——构建数据中心的设想[A];第七届全国体育科学大会论文摘要汇编(二)[C];2004年
10 罗彤;吴蕾;江宝东;;环保信息数据中心建设中的几个关键技术初探[A];2007中国环境科学学会学术年会优秀论文集(下卷)[C];2007年
中国重要报纸全文数据库 前10条
1 ;数据中心在变化[N];计算机世界;2004年
2 本报通讯员 曹军;项俊波对数据中心未来建设提出五项要求[N];中国城乡金融报;2007年
3 潘竑;绿色创新工程:应对数据中心能效挑战[N];金融时报;2007年
4 ;企业级数据中心:向数据运营服务中心演进[N];金融时报;2007年
5 王悦承;惠普:下一代数据中心应分三步走[N];中国计算机报;2006年
6 ;为数据中心能耗账单减负[N];中国计算机报;2007年
7 刘学习;数据中心趋势是高效和节能[N];计算机世界;2006年
8 讯源 编译;数据中心遭遇电力危机[N];计算机世界;2006年
9 杨霞清;“下一代数据中心”结束信息孤岛[N];计算机世界;2006年
10 杨青峰;数据中心走向运营服务[N];计算机世界;2007年
中国博士学位论文全文数据库 前10条
1 阮顺领;基于虚拟架构的模块化数据中心节能管理研究[D];西安建筑科技大学;2015年
2 李阳阳;数据中心网络资源管理及调度技术研究[D];北京邮电大学;2015年
3 杨英仪;面向云存储副本复制的一致性关键技术研究[D];华南理工大学;2015年
4 张江涛;分布式云计算资源配置技术研究[D];哈尔滨工业大学;2016年
5 刘晓茜;云计算数据中心结构及其调度机制研究[D];中国科学技术大学;2011年
6 敬思远;面向绿色虚拟数据中心资源管理的若干关键技术研究[D];电子科技大学;2013年
7 陈辉;基于虚拟化环境的数据中心节能管理技术研究[D];北京邮电大学;2012年
8 张鹏;数据中心网络的流量管理和优化问题研究[D];北京邮电大学;2013年
9 王智明;云数据中心资源调度机制研究[D];北京邮电大学;2012年
10 孙鑫;面向云环境数据中心的高效资源调度机制研究[D];北京邮电大学;2012年
中国硕士学位论文全文数据库 前10条
1 李时枢;绿色IT在数据中心的应用研究[D];西南财经大学;2008年
2 栗民;J公司云计算数据中心运维管理研究[D];广东商学院;2013年
3 王泽青;中国大陆不同气候分区数据中心自然冷却模式的PUE分析[D];天津商业大学;2015年
4 刘龙;数据中心虚拟防火墙的设计与实现[D];山东大学;2015年
5 孙云涛;基于Hadoop的广电CDN数据中心系统设计与实现[D];山东大学;2014年
6 马倩琳;中关村软件园数据中心营销策略研究[D];对外经济贸易大学;2015年
7 刘元展;数据中心供配电系统可用性设计[D];哈尔滨工业大学;2015年
8 张润驰;面向数据中心网络的故障诊断算法[D];南京财经大学;2015年
9 张睿阳;数据中心的拥塞控制算法优化研究[D];浙江大学;2015年
10 左利鹏;数据中心的热流模拟和能耗优化[D];浙江大学;2015年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026