收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于Kubemetes的大数据流式计算Spark平台设计与实现

杜威科  
【摘要】:目前,云平台主要是基于传统的虚拟机技术来实现底层物理资源的管理和弹性伸缩,在启停速度、资源利用率、运维监控以及性能上有较大的资源开销。大数据计算框架部署在云平台上是一种典型的应用场景,面对海量大数据的增长,传统云平台构架和处理方式无法有效应对大数据的处理环境。作为新兴的轻量级虚拟化容器技术,以Docker容器作为基本单位为开发人员提供快速构建、部署和移植分布式应用,极大的简化开发者的部署运维流程,降低服务器成本。Kubernetes是Google自动部署和管理大规模Docker容器应用的开源系统,对容器化的应用提供资源调度、自动部署、服务发现、弹性伸缩等一整套功能,对大数据分布式计算框架Map-Reduce也提供良好的支持。当然,Docker有关安全、存储等方面还有不足之处,在成为云平台构建基础上还处于快速发展的阶段。本文重点设计实现了以虚拟化Docker容器作为大数据的底层承载平台,以Kubernetes作为容器管理、调度系统,部署了基于Dokcer容器的Spark大数分布式计算框架。容器化的大数据平台可以极大的提高资源利用率和计算并行度,简化了运维管理成本,并能够应对实时负载,弹性伸缩Spark计算节点。针对基于Kubernetes部署Spark集群,本文的主要工作如下:(1)实现Docker容器跨主机通信。Docker本身不具备跨主机通信能力,利用flannel建立一个叠加网络(Overlay Network),实现了不同物理主机上的容器通信的能力。(2)基于Kubernetes系统设计实现了Spark集群。本文分析了Spark集群的通信机制,使用dockerfile构建Spark镜像,设计实现了基于kubernetes平台的大数据流式计算Spark集群,可以快速部署并横向扩展Spark集群。(3)设计实现了基于负载的Spark节点弹性伸缩。针对Docker容器的资源监控,采集各个Node节点上的容器资源使用数据,根据实时负载对Spark节点执行响应的伸缩活动。(4)对该平台进行了部署和测试。实验表明,使用Docker容器构建Spark框架,能够提高资源利用率、简化运维流程等,验证了该系统的可行性和有效性。


知网文化
【相似文献】
中国期刊全文数据库 前2条
1 ;Evaluation of energy transfer and utilization efficiency of azo dye removal by different pulsed electrical discharge modes[J];Chinese Science Bulletin;2008年12期
2 Fujiwara Osamu;;CORRELATION INVESTIGATION BETWEEN CONTACT APPROACH SPEED OF HANDHELD METAL ROD AND DISCHARGE PARAMETERS FROM CHARGED HUMAN BODY[J];Journal of Electronics(China);2008年03期
中国重要会议论文全文数据库 前3条
1 ;Study on the spark discharge plasma jet driven by nanosecond pulses[A];第十五届全国等离子体科学技术会议会议摘要集[C];2011年
2 Osamu Fujiwara;;Effect of Approaching Contact Speed of Hand-Held Metal Piece on Characteristics of Discharge Current from Charged Human Body[A];第二届贵州省自然科学优秀学术论文评选获奖论文集(2007年)[C];2007年
3 ;β_1- but not β_2-adrenergic signaling accelerates the ryanodine receptor response to a single L-type Ca~(2+) channel in heart ceils[A];中国生理学会第23届全国会员代表大会暨生理学学术大会论文摘要文集[C];2010年
中国硕士学位论文全文数据库 前10条
1 杜威科;基于Kubemetes的大数据流式计算Spark平台设计与实现[D];南京邮电大学;2017年
2 董泽;基于容器的任务卸载技术研究[D];哈尔滨工业大学;2017年
3 张贵龙;跌落冲击作用下储液容器动态响应及液体晃荡研究[D];江苏科技大学;2017年
4 武琼;基于容器技术的多OS的研究与实现[D];电子科技大学;2017年
5 高原;基于Docker的私有云主机系统研究与实现[D];电子科技大学;2017年
6 谭越;基于同步的数据流分层压缩研究[D];电子科技大学;2017年
7 唐瑞;基于Kubernetes的容器云平台资源调度策略研究[D];电子科技大学;2017年
8 王韬;基于Spark的聚类集成系统研究与设计[D];西南交通大学;2015年
9 陈晓康;基于Spark 云计算平台的改进K近邻算法研究[D];广东工业大学;2016年
10 牟善文;美国SPARK课程模式小学生体育课能量代谢特点及干预实验研究[D];首都体育学院;2016年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978