收藏本站
《中国科学技术大学》 2009年
收藏 | 手机打开
二维码
手机客户端打开本文

云计算中的网络拓扑设计和Hadoop平台研究

邓自立  
【摘要】: 云计算是2007年底正式提出的一个新的概念,它是一个革命性的举措,意味着计算能力也可以作为一种商品进行流通,就像煤气、水电一样,取用方便,费用低廉,不同之处只是在于它是通过互联网进行传输的。至今为止,Google、Microsoft、IBM、亚马逊等IT商业巨头都推出了自己的云计算平台,并把云计算作为其未来发展的最主要战略之一。因此,云计算的研究不但紧跟业界技术发展的趋势,同时还具有较高的应用价值。 在云计算系统的后端,有成千上万的服务器,如何将如此大量的服务器有效地组织是云计算系统高效稳定运行关键问题之一。一个合理的网络拓扑不但可以提高网络的性能,而且能够保证网络的稳定性,使网络在部分节点或链路故障或拥挤时也能正常工作。云计算系统后端的网络拓扑特性有别于一般的网络拓扑,需要我们重新考虑和研究。 Hadoop是一个在集群上运行大型数据库处理应用程序的开放式源代码框架。它支持通过Google的MapReduce编程范例来创建并执行的应用程序,在很多大型网站上都已经得到了应用,可以说是目前最为广泛应用的开源云计算软件平台。但其发展时间较短,研究还不够深入,还有较多值得改进的地方。考虑云计算以上两个方面,本文主要进行了以下研究: 1.通过调研云计算的网络需求,分析云计算的网络拓扑结构特点,提出云计算网络拓扑结构应该由中心的主干交换部分和外围的树状子网组成的基本构想。然后利用图论和最优化理论,基于贪心算法思想,针对其主干交换网络的拓扑设计提出了自动拓扑设计算法RGA并仿真实现,通过和已有算法的比较,证明了算法的有效性和优越性。 2.通过调研Hadoop的相关资料,在实验室搭建配置了8台PC组成的Hadoop平台。然后对Hadoop的MapReduce工作模式进行分析,针对它的多任务调度提出了基于优先级的加权轮询算法(PBWRR)并在Hadoop平台上编程实现。最后比较了PBWRR和Hadoop平台默认使用的FIFO调度算法,讨论了它们的优劣和各自适用的场景。 最后我们对论文工作进行了总结,并讨论了对进一步工作的展望。
【学位授予单位】:中国科学技术大学
【学位级别】:硕士
【学位授予年份】:2009
【分类号】:TP393.02

【引证文献】
中国期刊全文数据库 前10条
1 李洪波;;高校数字化校园云计算应用探讨[J];电脑知识与技术;2011年17期
2 徐淑琦;陈彩;王丹;;Hadoop平台下基于加权轮转算法的改进任务调度算法[J];电脑与信息技术;2013年04期
3 郑广成;;一种SOA云服务平台架构研究与应用[J];计算机应用与软件;2011年12期
4 张建;耿焕同;路有兵;;一种基于Hadoop的云运维监控模型设计与实现[J];计算机与现代化;2012年06期
5 肖洋;张芝龙;;采用GAE技术实现数据的虚拟存储[J];科技信息;2012年08期
6 遆鸣;陈俊杰;强彦;;基于模拟退火的Map Reduce调度算法[J];计算机工程;2012年19期
7 郝伟姣;周世健;彭大为;;基于HADOOP平台的云GIS构架研究[J];江西科学;2013年01期
8 刘亚秋;邢乐乐;景维鹏;;云计算环境下基于时间期限和预算的调度算法[J];计算机工程;2013年06期
9 王祺元;闫宏印;;基于改进RM算法的云环境任务调度研究[J];计算机测量与控制;2013年06期
10 杜金峰;东韩;徐凌宇;陈亮;蔡茂;;云平台上海洋服务流定制的可视化建模研究[J];计算机工程与设计;2013年01期
中国重要会议论文全文数据库 前1条
1 赵炳;胥光辉;柳旭;李慧冬;;基于Hadoop平台的软件系统的测试研究[A];第十七届全国青年通信学术年会论文集[C];2012年
中国博士学位论文全文数据库 前5条
1 方雷;基于云计算的土地资源服务高效处理平台关键技术探索与研究[D];浙江大学;2011年
2 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年
3 刘艺;应急云环境下任务导向的应急组织敏捷协作机制研究[D];暨南大学;2012年
4 杨国才;农业农村信息化云服务平台集成关键技术研究[D];西南大学;2012年
5 霍旭光;基于云计算的大规模地形数据处理方法的研究[D];中国地质大学(北京);2013年
中国硕士学位论文全文数据库 前10条
1 苏伟兵;个性化Web商务信息融合关键技术研究[D];浙江大学;2010年
2 申志强;基于云计算的IPv6协议应用研究[D];东北财经大学;2010年
3 贺鹏;云计算的开发云的研究与实现[D];电子科技大学;2011年
4 赵黎斌;面向云存储的分布式文件系统关键技术研究[D];西安电子科技大学;2011年
5 杨柳;基于云计算的GIS应用模式研究[D];河南大学;2011年
6 贾文娟;基于hive分布式计算与数据挖掘的关联性营销的设计与实现[D];北京交通大学;2011年
7 李芳芳;个人数据空间管理系统中数据抽取及语义关联构建[D];北京交通大学;2011年
8 徐忠明;基于Hadoop的网络验证平台的研究[D];广东工业大学;2011年
9 任萱萱;基于Hadoop平台的作业调度研究[D];天津师范大学;2011年
10 郭雷风;农业科研云原型系统设计与应用理论研究[D];中国农业科学院;2011年
【参考文献】
中国期刊全文数据库 前1条
1 铁玲,李建华,诸鸿文;宽带无线因特网络中的加权轮循调度算法[J];上海交通大学学报;2002年09期
【共引文献】
中国期刊全文数据库 前10条
1 刘云;网络可靠性分析方法及比较[J];北方交通大学学报;1995年01期
2 杨春德,周宗放;Fuzzy网络法(FCPM)分析[J];重庆邮电学院学报;1994年01期
3 杨春德;Fuzzy网络中生成树的优化问题[J];重庆邮电学院学报;1996年02期
4 白洪涛,孙吉贵,焦洋,徐长青;网络优化算法的实现与比较[J];吉林大学学报(信息科学版);2002年02期
5 杨时刚,史峰,李致中;制定列车编组计划的人工神经网络方法[J];长沙铁道学院学报;2002年03期
6 陈荣军;Dijkstra算法的应用[J];常州工业技术学院学报;1999年02期
7 汪君勇;;云计算在教学信息系统中的应用[J];电脑编程技巧与维护;2010年18期
8 郭伟斌;;医院病案信息加密模块的研究[J];电脑知识与技术;2009年34期
9 张蕊;;关于《计算机操作系统》教学的研究与探讨[J];电脑知识与技术;2010年29期
10 开华东;田琪;;基于MapReduce集群的加权公平队列调度算法研究[J];电脑知识与技术;2011年09期
中国重要会议论文全文数据库 前2条
1 李志民;赵一丁;底恒;;操作系统进程同步的教学实践[A];计算机研究新进展(2010)——河南省计算机学会2010年学术年会论文集[C];2010年
2 贾传亮;许保光;池宏;计雷;;基于网络流的航空公司飞行员人力资源规划模型[A];中国优选法统筹法与经济数学研究会第七届全国会员代表大会暨第七届中国管理科学学术年会论文集[C];2005年
中国博士学位论文全文数据库 前10条
1 刘利军;鄂尔多斯矿区煤炭物流网络系统化研究[D];中国矿业大学(北京);2011年
2 张水舰;基于GIS-T的城市交通最优路径诱导算法研究[D];西南交通大学;2010年
3 张青;复杂系统的一致性研究[D];武汉大学;2011年
4 李引珍;不确定环境下交通运输网络路径求解方法及应用研究[D];西南交通大学;2005年
5 蒋国萍;软件项目风险管理的贝叶斯网络模型研究[D];国防科学技术大学;2005年
6 陈敏;网络实时视频传输研究[D];华南理工大学;2004年
7 潘晏涛;无线传感器网络生存时间优化问题研究[D];国防科学技术大学;2006年
8 袁逸萍;制造网格工作流研究及实现[D];上海大学;2006年
9 张江华;突发公共事件应急管理研究[D];复旦大学;2008年
10 盛立新;虚拟物流企业伙伴选择研究[D];国防科学技术大学;2009年
中国硕士学位论文全文数据库 前10条
1 孟佳;操作系统试验模拟平台的研究与实现[D];电子科技大学;2010年
2 周林涛;综合决策及其网络应用[D];昆明理工大学;2008年
3 丛亚闻;基于移动闭塞的移动授权生成机制研究[D];西南交通大学;2011年
4 杜珊三;VSAT卫星通信在电力系统中的应用分析[D];中山大学;2010年
5 凌信阳;基于流程节点的时间管理方法研究[D];南京航空航天大学;2011年
6 臧广伟;基于矩阵运算的流体网络计算复杂度研究[D];辽宁工程技术大学;2011年
7 周韧;基于蚁群算法的配电网定位与恢复[D];长沙理工大学;2011年
8 刘同斌;云网络实验平台研究与实现[D];山东科技大学;2011年
9 叶静;数控喷字路径优化算法研究[D];大连理工大学;2011年
10 刘韵;路网容量理论与算法研究[D];北京工业大学;2002年
【同被引文献】
中国期刊全文数据库 前10条
1 叶永玲,周亚庆;虚拟企业的治理结构探析[J];安徽大学学报;2004年02期
2 陈键;;浅析常用聚类分析算法[J];安徽电子信息职业技术学院学报;2007年01期
3 胡庆华;Web搜索引擎中Mobile Agent动态路由问题研究[J];安徽大学学报(自然科学版);2003年03期
4 谢荣传,谢铉洋;XQuery语言的实现[J];安徽大学学报(自然科学版);2005年01期
5 钟卫华;谢志忠;;我国农业信息化研究综述[J];安徽农学通报;2007年13期
6 戴立乾;陈娜;;浅议云计算时代下GIS的发展[J];安徽农业科学;2009年31期
7 刘淑华;姚玉秀;尚丹;刘芝甡;;论国外农村信息化发展[J];现代农业科技;2010年02期
8 杨秋杰;;云计算的核心技术——粒度计算[J];信息安全与技术;2010年08期
9 李珺;;基于Hadoop云计算模型探究[J];信息安全与技术;2011年06期
10 温家宝;;让科技引领中国可持续发展[J];安庆科技;2009年04期
中国重要会议论文全文数据库 前8条
1 白婷婷;郑新奇;杨玲莉;;大比例尺地形图中居民点快速更新方法研究[A];发挥资源科技优势 保障西部创新发展——中国自然资源学会2011年学术年会论文集(上册)[C];2011年
2 周静;周海芳;唐玉华;;多模遥感图像高精度配准并行算法研究与实现[A];图像图形技术研究与应用2009——第四届图像图形技术与应用学术会议论文集[C];2009年
3 马凯;苏一丹;;一种基于序列相似性的蚁群聚类算法[A];广西计算机学会2009年年会论文集[C];2009年
4 郭炜;;业务支撑网向云计算演进的挑战[A];2011全国无线及移动通信学术大会论文集[C];2011年
5 万学道;冯仲科;;我国农业和农村信息化发展现状与展望[A];中国农业信息科技创新与学科发展大会论文汇编[C];2007年
6 黄百乔;张虹;陆民燕;李海峰;;GUI软件功能测试用例数据选取策略研究[A];第六届中国测试学术会议论文集[C];2010年
7 熊德兰;鄢靖丰;陈静;;基于论坛主题的网页褒贬倾向性识别[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
8 金松昌;杨树强;樊华;刘斐;;面向大型关键业务的Hadoop云计算平台数据安全策略研究[A];第27次全国计算机安全学术交流会论文集[C];2012年
中国重要报纸全文数据库 前2条
1 本报记者 高骥远;[N];通信信息报;2007年
2 祁金华;[N];网络世界;2008年
中国博士学位论文全文数据库 前10条
1 柯硕灏;配网故障自诊自愈新原理与新方法研究[D];华中科技大学;2011年
2 刘晓茜;云计算数据中心结构及其调度机制研究[D];中国科学技术大学;2011年
3 康俊锋;云计算环境下高分辨率遥感影像存储与高效管理技术研究[D];浙江大学;2011年
4 黄永生;基于用户社会属性的点对点内容分发网络模型研究[D];北京邮电大学;2010年
5 赵铁柱;分布式文件系统性能建模及应用研究[D];华南理工大学;2011年
6 钱迎进;大规模Lustre集群文件系统关键技术的研究[D];国防科学技术大学;2011年
7 方雷;基于云计算的土地资源服务高效处理平台关键技术探索与研究[D];浙江大学;2011年
8 魏圆圆;基于本体论的农业知识建模及推理研究[D];中国科学技术大学;2011年
9 曾志;云格环境下海量高分遥感影像资源与服务高效调配研究[D];浙江大学;2012年
10 邓雪清;栅格型空间数据服务体系结构与算法研究[D];中国人民解放军信息工程大学;2003年
中国硕士学位论文全文数据库 前10条
1 孔楠;基于云计算平台的商业服务模式研究[D];上海外国语大学;2010年
2 付海涛;黑龙江省农村信息化服务模式与对策研究[D];中国农业科学院;2010年
3 吴贵鑫;云计算中的MapReduce并行编程模式研究[D];河南理工大学;2010年
4 刘涛;基于SOA架构的企业应用平台研究与开发[D];长春工业大学;2010年
5 胡清;基于云计算的券商网络营销服务平台研究与设计[D];南昌大学;2010年
6 于培;可信计算信任链传递机制的研究与设计[D];西安电子科技大学;2011年
7 李秀珍;MD5及部分新Hash函数的分析[D];山东师范大学;2011年
8 赵玉萍;基于Visual C++的视频监控系统的软件设计与实现[D];太原理工大学;2011年
9 秦辉;面向服务的动态体系结构描述语言SO-DADL及其应用研究[D];西北大学;2011年
10 杨柳;基于云计算的GIS应用模式研究[D];河南大学;2011年
【二级引证文献】
中国期刊全文数据库 前10条
1 蒋娟;姜瑜;;云计算与农村信息化建设[J];电脑知识与技术;2011年32期
2 李书生;段勇;石屹嵘;叶宇航;;电信BS架构系统迁移及云化研究[J];电信科学;2012年05期
3 孙福权;张达伟;程勖;刘超;;基于Hadoop企业私有云存储平台的构建[J];辽宁工程技术大学学报(自然科学版);2011年06期
4 蔡念光;靳国印;程健君;张晓;;基于3G移动通信网络和云计算的数字化校园网站群建设[J];计算机光盘软件与应用;2012年12期
5 黄滨;徐勇;吕岩;;基于Hadoop云存储系统在设计院的应用研究[J];信息安全与技术;2012年09期
6 邓见光;潘晓衡;袁华强;;云存储及其分布式文件系统研究[J];东莞理工学院学报;2012年05期
7 汪俭华;冯锡炜;张永攀;关沧;毕福伟;;基于云计算的蒙特卡罗模拟分析[J];电子设计工程;2012年19期
8 林德根;梁勤欧;;云GIS的内涵与研究进展[J];地理科学进展;2012年11期
9 黄振华;;基于云计算的虚拟化存储技术研究[J];硅谷;2012年20期
10 辛大欣;屈伟;;基于Hadoop的云计算算法研究[J];电子设计工程;2013年03期
中国重要会议论文全文数据库 前1条
1 段李杰;;基于云平台异地快递服务监控模式的研究[A];2012中国快递论坛论文集[C];2012年
中国博士学位论文全文数据库 前9条
1 曾志;云格环境下海量高分遥感影像资源与服务高效调配研究[D];浙江大学;2012年
2 孙伟;林业资源信息云计算服务体系研究[D];中国林业科学研究院;2012年
3 赵明玺;基于波形特征提取与支持向量机分类的颅内压增高预测研究[D];重庆大学;2012年
4 杨国才;农业农村信息化云服务平台集成关键技术研究[D];西南大学;2012年
5 黄兰秋;基于云计算的企业竞争情报服务模式研究[D];南开大学;2012年
6 曹霄洁;基于时尚知识管理的服装概念设计方法研究[D];东华大学;2013年
7 申彦;大规模数据集高效数据挖掘算法研究[D];江苏大学;2013年
8 霍旭光;基于云计算的大规模地形数据处理方法的研究[D];中国地质大学(北京);2013年
9 李刚;黑龙江省国土资源信息数据高效利用与服务研究[D];东北农业大学;2013年
中国硕士学位论文全文数据库 前10条
1 朴红吉;基于分布式多索引融合的专利信息检索研究[D];大连理工大学;2010年
2 胡清;基于云计算的券商网络营销服务平台研究与设计[D];南昌大学;2010年
3 苏伟兵;个性化Web商务信息融合关键技术研究[D];浙江大学;2010年
4 支俏峰;基于Google App Engine的移动数据挖掘模式及其基金投资风险管理中的设计与实现[D];山东经济学院;2011年
5 张倩;基于云计算环境的数据管理系统研究与应用[D];北京邮电大学;2011年
6 王贤伟;基于Hadoop的外观专利图像检索系统的研究与实现[D];广东工业大学;2011年
7 徐忠明;基于Hadoop的网络验证平台的研究[D];广东工业大学;2011年
8 叶雄杰;基于云存储的移动视频监控系统研究[D];广东工业大学;2011年
9 杨丽婷;基于云计算数据存储技术的研究[D];中北大学;2011年
10 郭雷风;农业科研云原型系统设计与应用理论研究[D];中国农业科学院;2011年
【相似文献】
中国期刊全文数据库 前10条
1 胡晓娅;朱德森;汪秉文;;用改进的遗传算法设计交换式工业以太网拓扑[J];计算机工程与科学;2007年09期
2 李志蜀;几种FDDI网络拓扑浅析[J];计算机应用研究;1994年05期
3 朱灯林;王安麟;;基于动态柔度的硬盘驱动臂的拓扑设计[J];机械强度;2007年02期
4 张栋;吴春明;姜明;熊伟;;大规模服务覆盖网拓扑设计[J];电子与信息学报;2010年04期
5 吴皓莹,姜德生;基于蓝牙传感器网络技术的桥梁健康监测系统[J];传感器技术;2005年11期
6 曹怀虎;张艳梅;牛娃;;求解Overlay Grid拓扑问题的模拟退火算法[J];计算机工程与应用;2007年36期
7 马书惠;朱敏;纪红;;无线传感器网络中基于多移动代理的拓扑设计[J];传感技术学报;2008年01期
8 范一鸣;秦本涛;;大规模WSNs中多Sink节点优化部署遗传算法[J];传感器与微系统;2010年06期
9 潘启敬,杨永高,王宇;计算机网络设计CAD系统研究[J];计算机学报;1993年07期
10 原萍;陈红;王光兴;;Ad hoc网络路由优化的微粒群方法[J];小型微型计算机系统;2006年07期
中国重要会议论文全文数据库 前6条
1 刘西拉;张之勇;寇新建;林少培;;结合我国设计实践 提高CAD信息生成和集成技术[A];计算机技术在工程建设中的应用——第十二届全国工程建设计算机应用学术会议演讲辑录[C];2004年
2 赵友选;赵丽滨;房建成;;磁悬浮控制力矩陀螺框架结构分析及优化[A];北京力学学会第12届学术年会论文摘要集[C];2006年
3 钱若军;张渊;熊天齐;;空间格构结构分析与设计软件AADS系统的开发[A];第六届全国现代结构工程学术研讨会论文集[C];2006年
4 魏发远;邓克文;王峰军;陈新发;;复杂产品的电缆布局方法[A];庆祝中国力学学会成立50周年暨中国力学学会学术大会’2007论文摘要集(下)[C];2007年
5 曹平宽;周涛;李中武;聂智军;梁益华;;大型客机增升装置设计CFD计算策略[A];探索 创新 交流(第4集)——第四届中国航空学会青年科技论坛文集[C];2010年
6 倪君杰;叶红玲;隋允康;;骨骼重建的数值模拟与研究[A];北京力学会第15届学术年会论文摘要集[C];2009年
中国重要报纸全文数据库 前10条
1 ;论传统堆叠与集群堆叠(三)[N];中国财经报;2003年
2 王巍;NGN在行业的实现[N];中国电子报;2005年
3 ;国信人寿 网络“保险”[N];网络世界;2005年
4 子一;Ruckus Wireless发布企业级无线解决方案ZoneFlex[N];中国国门时报;2007年
5 诺基亚(中国)投资有限公司;诺基亚全面备战WCDMA网络规划[N];通信产业报;2005年
6 惠州卫生学校计算机教研组 陈永清;校园网络建设方案与策略[N];网络世界;2004年
7 网捷网络公司 沈之千;二层数据网络802.1d的自愈[N];网络世界;2002年
8 ;“网”住连锁的魂[N];网络世界;2004年
9 徐翀;城域网网络规划[N];科技日报;2001年
10 ;“手术刀”背后的网络[N];网络世界;2005年
中国博士学位论文全文数据库 前10条
1 张雷;工业以太网拓扑设计与优化研究[D];浙江大学;2012年
2 娄杰;新型电磁机构的拓扑设计与优化方法研究[D];山东大学;2009年
3 邹亮;直线式永磁偏置限流拓扑的磁特性优化与建模方法研究[D];山东大学;2011年
4 郝秀春;电热驱动微夹钳的拓扑设计及相关问题研究[D];大连理工大学;2006年
5 陈春风;光网状网中的路径保护技术研究[D];上海交通大学;2007年
6 刘广军;音叉振动式微机械陀螺结构拓扑自组织设计方法的研究[D];上海交通大学;2007年
7 曾强;具有串并混联形式与变自由度特性的空间多环机构的拓扑设计方法[D];北京交通大学;2012年
8 李铮;多媒体云计算平台关键技术研究[D];中国科学技术大学;2011年
9 马书惠;无线传感器网络中基于能量的关键算法研究[D];北京邮电大学;2007年
10 张安慧;大规模航天器编队协同控制性能分析与信息拓扑设计[D];哈尔滨工业大学;2013年
中国硕士学位论文全文数据库 前10条
1 冯兴健;全光网中的拓扑设计与波长分配问题研究[D];曲阜师范大学;2008年
2 王叶霜;基于OBS的集成型混合交换光网络的优化设计[D];电子科技大学;2009年
3 刘霜;基于ANSYS的挠性叠片联轴器的拓扑设计与动力分析[D];南京航空航天大学;2004年
4 孙圣权;基于ESO的液压机下横梁结构拓扑优化及双向进化结构优化方法研究[D];重庆大学;2008年
5 龙荣深;基于AUTOSAR标准的系统配置工具[D];浙江大学;2010年
6 肖强;LED电源驱动可靠性电路设计[D];电子科技大学;2011年
7 贾冰;多拓扑路由技术应用于IP网络快速恢复的研究[D];电子科技大学;2010年
8 丁宁;企业网络设计与实现[D];大连海事大学;2011年
9 雷立帆;基于IEEE1394B协议的仿真网络平台设计与研究[D];成都理工大学;2012年
10 胡亮;空间可展遮光罩的结构设计、分析与仿真[D];浙江大学;2011年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026