收藏本站
《北京邮电大学》 2019年
收藏 | 手机打开
二维码
手机客户端打开本文

基于云计算的人工智能训练平台的研究与设计

刘宇博  
【摘要】:随着近几年信息技术与大数据的高速发展,人工智能在变得越来越火热的同时,也取得了良好的发展。但是研究人员在模型训练过程中常常会遇到一些问题,如计算资源包括但不限于CPU、内存、显卡等的利用率较低,或者因为某些人为因素导致机器环境的不稳定,最后导致其它研究人员无法使用等问题时有发生。于是本文基于上述原因尝试提出基于云计算的人工智能训练平台。本文首先对目前云计算的发展现状、虚拟化技术、容器化技术、容器调度方案等关键技术和国内外人工智能训练平台的发展现状进行了研究。然后通过深入对比分析各个容器调度方案的优缺点,确定了本文将采用目前最为流行的云计算组合Docker容器化技术+容器调度方案Kubernetes为基础搭建人工智能训练平台。然后本文根据目前实际应用场景对平台的需求以及可行性进行分析,并以此为基础提出了平台的整体架构方案。最后在完成平台基础功能的基础上,对平台中涉及到的存储环境进行研究,确定存储方案Ceph分布式文件系统,并对该文件系统进行优化。本文主要的工作内容如下:1)通过对人工智能训练平台的存储环境进行分析,对比NFS文件系统和Ceph文件系统的性能优劣,本文最终选择基于Ceph文件系统作为存储媒介。并基于网络层的优化对Ceph的性能进行调优,经过实验测试优化后的传输速度为原速度的2.6倍,进而将人工智能训练模型的迭代时间大幅缩短。2)通过对人工智能训练平台的资源调度需求进行分析,本文基于Kubernetes的基础调度算法进行扩展,提出新的预选策略PodChoiceFitResources和优选策略MaxResourceUsagePriority。并以实际应用证明了新的调度算法不仅可以准确的将待调度的Pod调度到目的节点,而且还可以在资源不变的前提下有计划的增加任务数量,保证平台整体任务运行时间的不变甚至缩短。3)通过对人工智能训练平台运营管理功能的分析,本文基于目前最为成熟的两种开源方案:Heapster+InfluxDB+Grafana和Prometheus提出新的管理组合:Prometheus+Grafana,以此来对平台的资源进行监控以及必要的资源报警。4)搭建实现了一个人工智能训练平台,通过对平台实际功能的实验检测,如镜像搭建,资源申请,建立容器等操作,验证了平台能够合理、高效的对资源进行分配。
【学位授予单位】:北京邮电大学
【学位级别】:硕士
【学位授予年份】:2019
【分类号】:TP18;TP311.52

【相似文献】
中国期刊全文数据库 前10条
1 王娜;;基于大学生创新创业项目的多元化训练平台建设[J];高教学刊;2017年22期
2 汤东东;;正确处理考试,完整感受训练平台[J];数学大世界(上旬);2017年08期
3 史梦琦;;让“信息化”引领小学英语写作——浅谈写作训练平台在小学英语写作中的运用[J];初中生优秀作文;2015年16期
4 尚艳;孙淑娟;席芳;;战救训练平台股静脉留置针输液方法探讨[J];华南国防医学杂志;2018年01期
5 陈俊明;赵翔;程琛;;构建军队油料勤务信息化训练平台的研究[J];中国石油和化工标准与质量;2012年13期
6 魏丹丹;郭丹;;大学生主体行为下程序设计综合训练平台的研究与实现[J];电脑编程技巧与维护;2017年12期
7 周新年;巫志龙;周成军;郑丽凤;张正雄;沈嵘枫;冯辉荣;郑世飞;程良;刘富万;;工程索道创新训练平台的规划建设[J];森林工程;2014年04期
8 王明华;张雏;;激光测距机故障机理及维修训练平台研究[J];光学仪器;2011年03期
9 ;辽宁首创“学、练、考、管”四位一体网上“训练平台”[J];公安教育;2008年07期
10 高飞;常天庆;张国梁;;基于FPGA的装备故障维修训练平台设计[J];电子技术;2007年Z3期
中国重要会议论文全文数据库 前6条
1 黄一斌;彭文成;薛青;赵定海;;基于服务代理的电台组网训练平台的研究[A];2009系统仿真技术及其应用学术会议论文集[C];2009年
2 陈世文;魏星平;高杰;;课题型电子设计训练平台的建设与实施探讨[A];教育部中南地区高等学校电子电气基础课教学研究会第二十届学术年会会议论文集(上册)[C];2010年
3 张桃;何庆复;;我校工程训练平台设置及其模块建设浅谈[A];北京高教学会实验室工作研究会2008年学术研讨会论文集[C];2008年
4 李世其;冯雅清;王峻峰;朱文革;;网络环境下协同虚拟拆卸训练平台[A];计算机辅助工程及其理论研讨会2013(CAETS2013)论文集[C];2013年
5 朱亚先;;构建本科生科研训练平台 培养高素质人才[A];中国化学会第30届学术年会摘要集-第十二分会:高等和职业教育中的化学教育[C];2016年
6 王辑祥;贺秋丽;王庆华;;加强工程实践训练,培养创新能力和实践能力[A];第四届全国高等学校电气工程及其自动化专业教学改革研讨会论文集(下册)[C];2007年
中国重要报纸全文数据库 前10条
1 黄邓、潘广云、特约记者 赖兵;高起点打造人才方阵 高标准构建训练平台[N];中国国防报;2003年
2 余建兴 张宗强 杨鹏飞;8633部队建立心理训练平台[N];人民武警;2004年
3 宋国强、特约通讯员史志强;用信息化训练平台练兵[N];解放军报;2003年
4 记者 冯锐;黑龙江:民警通过教育训练平台练兵解心结[N];人民公安报;2010年
5 业务专题部周左盾 谭彦叙 郭旭;辽宁搭建网络训练平台:民警“零距离”受训[N];人民公安报;2007年
6 王翔鹏、特约通讯员 李士国;搭一体化训练平台[N];解放军报;2004年
7 于俊杰 8630部队;科学构建兵种专业训练平台[N];人民武警报;2012年
8 特约通讯员 邓佑标;拓展海上实践教学训练平台[N];解放军报;2010年
9 于俊杰 于俊义(作者单位:8630部队);构建兵种专业训练平台[N];人民武警;2006年
10 张军恒 陆 康;让创新从训练平台上起飞[N];解放军报;2005年
中国硕士学位论文全文数据库 前10条
1 刘宇博;基于云计算的人工智能训练平台的研究与设计[D];北京邮电大学;2019年
2 闫若松;认知能力训练平台的设计与实现[D];南京大学;2019年
3 李镇宇;交互式虚拟船舶训练平台的研制与开发[D];东南大学;2018年
4 赵中杨;基于Kinect的康复训练平台研究与设计[D];东北大学;2015年
5 胡珏;工程教育改革背景下的工程训练平台研究[D];浙江大学;2009年
6 黄辉;PLC控制系统训练平台设计与实现[D];南京理工大学;2008年
7 李海泉;小型无人机飞行力学建模及虚拟训练平台的建立[D];南京航空航天大学;2012年
8 王泽宇;上海公安信息综训练平台的测试设计与实现[D];东华大学;2014年
9 弭龙静;机械设备3D仿真训练平台的研究与开发[D];沈阳工业大学;2014年
10 李翔宇;微格教学系统的设计与实现[D];山东大学;2011年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026