收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于Spark与Keras的拖拽式机器学习平台的研究与实现

史册  
【摘要】:可视化机器学习平台依赖拖拽式建模方法进一步降低了入门机器学习的门槛,也简化了专业领域从事人员定义和训练模型的操作,逐渐成为未来机器学习的主流工具之一。目前,不少头部企业如阿里巴巴、微软等将机器学习平台商业化,为其它企业、公司和个人提供服务。但这类云平台购买价格高昂,配置和使用各不相同,平台学习成本较高,当处理中小规模的机器学习问题时往往显得繁杂和冗余。同时,进行算法实验时需要将数据集上传到云服务器,不能完全保障数据的安全。因此,大多数中小企业研发本地的机器学习平台,不仅能够按需定制化私有的算法,而且可以保障数据不被泄漏。针对上述问题和需求,对机器学习平台可视化和本地化技术进行充分调研,本论文设计和实现了基于Spark和Keras的拖拽式机器学习平台。平台可以部署在本地服务器,用户数据的安全性可以得到保障,支持用户通过拖拽合成算法逻辑流程,可视化完成了从数据接入到模型搭建及结果可视化展示,提供完整的一站式算法实验流程,降低了平台用户学习成本。本文的主要研究内容包括:(1)基于mxGraph绘图框架和JQuery组件库实现平台的拖拽可视化功能。首先平台依据功能对算法平台页面进行分区,包括组件选择区、网络拓扑编辑区、参数配置区等。通过JQuery组件库实现组件选择区算法组件的树型列表结构;通过mxGraph框架实现网络拓扑编辑区的组件拖放,满足拖拽式建模的功能。(2)基于Spark和Keras框架实现机器学习平台算法功能。通过加载和分析网络拓扑结构生成的XML(可扩展标记语言)数据,后端合成相应的算法逻辑流程,构建机器学习或深度学习算法模型。平台支持100余种常用机器学习算法和深度学习算法。机器学习算法功能在Java虚拟机进程中通过调用Spark MLlib框架实现,深度学习算法功能在Python进程中通过调用Keras框架实现,Java虚拟机进程采用远程过程调用与Python进程进行通信。(3)在不同的浏览器环境下对平台主要模块进行功能测试。针对一种实际中的轴承机械数据的故障诊断问题,设计算法实验,构建算法模型进行训练和预测,验证平台的可行性和稳定性。


知网文化
【相似文献】
中国期刊全文数据库 前19条
1 田春岐;李静;王伟;张礼庆;;一种基于机器学习的Spark容器集群性能提升方法[J];信息网络安全;2019年04期
2 夏冉;;基于Spark的机器学习Web服务引擎设计[J];指挥控制与仿真;2018年01期
3 刘玉琳;;基于机器学习的金融投资应用分析[J];数字技术与应用;2021年11期
4 高焕堂;;学贯中西(2):认识AI的记忆(背诵)技能[J];电子产品世界;2021年12期
5 宋可可;钱萍;;机器学习势及其融入的物理模型在计算材料科学中的应用[J];中国冶金教育;2021年06期
6 杨光;陈亚睿;;机器学习案例化教学方法研究[J];电脑与电信;2021年11期
7 凌云志;杨琳;;紧跟科技前沿 提升应急效能——谈“机器学习”在应急领域的应用[J];城市与减灾;2020年05期
8 王泰然;李健聪;舒武;胡素磊;欧阳润海;李微雪;;基于机器学习的合金催化剂表面吸附能预测(英文)[J];Chinese Journal of Chemical Physics;2020年06期
9 本刊讯;;新的机器学习工具可追踪城市交通拥堵[J];数据分析与知识发现;2020年12期
10 王伟宾;;面向大数据环境的大规模机器学习工具研究综述[J];软件导刊;2021年01期
11 王蕴韬;;通信系统优化对分布式机器学习系统性能提升的分析[J];信息通信技术与政策;2021年03期
12 肖畅;吕立华;;全栈式机器学习在钢铁流程智能制造中的应用[J];宝钢技术;2021年02期
13 韦大欢;苏霞;;试析神经网络系统的机器学习过程[J];电脑编程技巧与维护;2021年04期
14 董春利;王莉;;基于机器学习的切换管理和模型浅析[J];电子测试;2021年09期
15 C.J.Abate;禾沐;;机器学习的未来——Daniel Situnayake访谈[J];单片机与嵌入式系统应用;2021年06期
16 赵哲园;;基于人工智能技术的机器学习研究分析[J];电子元器件与信息技术;2021年03期
17 詹东平;;近期热点文章[J];电化学;2021年03期
18 顾凡;;企业成功应用机器学习的四点建议[J];软件和集成电路;2021年07期
19 ;如何通过机器学习挖掘实际业务价值?[J];软件和集成电路;2021年06期
中国重要会议论文全文数据库 前20条
1 赵帅;黄晓婷;;依然在路上:教学人工智能的发展与局限[A];中国教育财政政策咨询报告(2019—2021)[C];2022年
2 张旭东;;面向宽口径的机器学习课程和教材建设探索和实践[A];第十五届全国信号和智能信息处理与应用学术会议论文集[C];2022年
3 于海东;邢明;;基于机器学习多模型的SSL加密威胁检测技术研究和应用[A];2021年国家网络安全宣传周“网络安全产业发展论坛”论文集[C];2021年
4 陆烨玮;;基于机器学习的结核分枝杆菌耐药性分析方法[A];中国防痨协会第33届全国学术大会暨中国防痨科技奖颁奖大会论文汇编[C];2021年
5 吴超;陈景文;傅志强;吴思甜;苏利浩;;基于机器学习的化学品致癌性预测模型[A];人工智能与人类健康论文摘要集[C];2021年
6 Jonny Bentwood;;营销中的AI应用与未来发展[A];清研智库系列研究报告(2020年第5期)[C];2020年
7 夏振华;郭先文;陈十一;;关于机器学习RANS建模的一些思考[A];第十一届全国流体力学学术会议论文摘要集[C];2020年
8 王子敬;吴晓妍;宋诚谦;秦丰华;罗喜胜;;基于GPU并行和机器学习的气固相互作用研究[A];第十一届全国流体力学学术会议论文摘要集[C];2020年
9 彭俊;胡宗民;姜宗林;;基于机器学习预测激波相互作用位置的研究[A];第十一届全国流体力学学术会议论文摘要集[C];2020年
10 赖力鹏;;机器学习与计算化学方法在小分子药物筛选与开发中的应用实践(英文)[A];2019中国化学会第十五届全国计算(机)化学学术会议论文集[C];2019年
11 沈超;侯廷军;;基于人工智能技术的蛋白-小分子打分方法研究[A];2019中国化学会第十五届全国计算(机)化学学术会议论文集[C];2019年
12 张伟;;一种用于流动模拟及建模的机器学习方法[A];第三十一届全国水动力学研讨会论文集(上册)[C];2020年
13 无奇;尹杰茜;余晨;王海明;洪伟;;机器学习辅助的多目标天线优化方法[A];2019年全国天线年会论文集(下册)[C];2019年
14 倪欢欢;韩益亮;段晓巍;李喆;;机器学习中的安全和隐私问题研究进展[A];2020中国系统仿真与虚拟现实技术高层论坛论文集[C];2020年
15 周信哲;陈永娟;蒲文鹏;;机器学习在水质预测中的应用[A];2020中国环境科学学会科学技术年会论文集(第四卷)[C];2020年
16 柏晓东;张伟;;基于机器学习的湍流涡激运动[A];第三十一届全国水动力学研讨会论文集(上册)[C];2020年
17 陈一;吴笛;段俐;康琦;;机器学习在BM对流研究中的应用[A];第十一届全国流体力学学术会议论文摘要集[C];2020年
18 骆新斗;郭昊;刘沛清;;基于机器学习对低雷诺数下平板转捩模拟修正[A];第十一届全国流体力学学术会议论文摘要集[C];2020年
19 杨学志;陆达伟;刘倩;江桂斌;;辨微识源:颗粒物的同位素指纹分析[A];中国化学会第22届全国色谱学术报告会及仪器展览会论文集(第一卷)[C];2019年
20 ;中国人工智能产业研究报告(Ⅲ) 公开版 2020年[A];艾瑞咨询系列研究报告(2020年第12期)[C];2020年
中国博士学位论文全文数据库 前20条
1 殷曦;基于机器学习及统计计算模型的膜蛋白结构预测[D];上海交通大学;2017年
2 杨静;蛋白质残基相互作用预测及其在结构建模中的应用研究[D];上海交通大学;2018年
3 韩启迪;基于非线性成矿动力系统的机器学习方法应用研究[D];中国地质大学(北京);2019年
4 薛红新;基于机器学习方法的分类与预测问题研究[D];中北大学;2019年
5 刘浏;基于机器学习的恶意代码检测与分类技术研究[D];国防科技大学;2017年
6 陈旭展;基于机器学习的智能机器人环境视觉感知方法研究[D];华中科技大学;2019年
7 吴念;CO_2电还原的理论计算研究[D];武汉大学;2019年
8 胡胜山;面向机器学习的安全外包计算研究[D];武汉大学;2019年
9 王磊;基于机器学习的药物—靶标相互作用预测研究[D];中国矿业大学;2018年
10 张庆;钙钛矿型功能材料的基因组工程研究[D];上海大学;2018年
11 管月;医学肿瘤影像分类算法研究及其在肝癌上的应用[D];南京大学;2018年
12 郝小可;基于机器学习的影像遗传学分析及其应用研究[D];南京航空航天大学;2017年
13 施建明;基于机器学习的产品剩余寿命预测方法研究[D];中国科学院大学(中国科学院遥感与数字地球研究所);2018年
14 陈再毅;机器学习中的一阶优化算法收敛性研究[D];中国科学技术大学;2018年
15 陆海进;Zr合金热动力学研究及机器学习[D];上海大学;2018年
16 戴望州;一阶逻辑领域知识与机器学习的结合研究[D];南京大学;2019年
17 符丹卉;基于MRI结构成像与静息态功能成像影像特征的机器学习法在AIDS患者中的应用研究[D];广西医科大学;2019年
18 Kashif Sultan(克希夫);5G移动通信网络中的呼叫记录分析[D];北京科技大学;2019年
19 梁霄;机器学习在量子物理学中的应用[D];中国科学技术大学;2019年
20 陈明哲;未来蜂窝网络中基于机器学习的资源管理技术研究[D];北京邮电大学;2019年
中国硕士学位论文全文数据库 前20条
1 史册;基于Spark与Keras的拖拽式机器学习平台的研究与实现[D];华中科技大学;2020年
2 王云霄;容器技术架构下的遥感影像机器学习平台研究与应用[D];中国地质大学(北京);2021年
3 王斌;应用机器学习算法对重症手足口病的危险因素筛选与预测[D];郑州大学;2019年
4 徐晓艳;基于机器学习的房颤识别算法研究[D];山东大学;2018年
5 曾中铭;基于机器学习的金属有机框架合成信息提取及形貌测量[D];厦门大学;2019年
6 林兵;机器学习在辐射源个体识别上的应用[D];厦门大学;2019年
7 万晓玥;基于机器学习的水域通信网安全技术研究[D];厦门大学;2019年
8 万露;强PUF抗机器学习攻击方法研究[D];湖南大学;2019年
9 徐英杰;基于机器学习的个人信用风险评估研究[D];西南财经大学;2019年
10 刘航;如何运用金融周期和经济周期改进大类资产配置?[D];厦门大学;2019年
11 李凌宇;基于机器学习方法的量化多因子选股研究[D];厦门大学;2019年
12 关松林;机器学习在疾病诊断中的应用[D];重庆大学;2019年
13 曹甜;基于机器学习的浏览器指纹异常检测模型研究[D];中南财经政法大学;2019年
14 Tahiry ANDRIAMANANTENA;机器学习和”克强指数”预测中国GDP增长[D];厦门大学;2019年
15 邱佳;量子力学辅助的机器学习算法对AIE效应的预测和理解[D];华南理工大学;2019年
16 孟圣然;基于机器学习的机械产品结构建模技术研究[D];杭州电子科技大学;2019年
17 牟多铎;基于机器学习方法的高光谱数据分类对比研究[D];长安大学;2019年
18 谭文杰;基于机器学习混凝土路面裂缝检测算法研究[D];广州大学;2019年
19 徐冠奇;基于机器学习的汽车出厂物流在线调度模型与算法研究[D];上海交通大学;2018年
20 郭志峰;基于机器学习的居民电力消费特征研究[D];合肥工业大学;2019年
中国重要报纸全文数据库 前20条
1 记者 张梦然;机器学习可预测未上市新型人造毒品[N];科技日报;2021年
2 本报记者 蔡姝雯;机器学习实现“大海捞针”[N];新华日报;2021年
3 记者 张梦然;机器学习成功模拟并预报流感传播[N];科技日报;2021年
4 记者 赵汉斌 通讯员 陈艳;机器学习可预测日冕全日面软X射线辐射分布[N];科技日报;2021年
5 采访人 本报记者 卢健;“中间三天”问题 最对机器学习“胃口”[N];中国气象报;2020年
6 ;你也可以体验的机器学习[N];电脑报;2020年
7 记者 张梦然;机器学习诞生新型“研究员”[N];科技日报;2020年
8 记者 刘霞;机器学习发现数百种潜在新冠药物[N];科技日报;2020年
9 InfoWorld网站特约编辑兼评论员 Martin Heller 编译 陈琳华;如何选择云机器学习平台[N];计算机世界;2020年
10 本报驻波士顿记者 侯丽;深入挖掘机器学习潜力[N];中国社会科学报;2019年
11 本报记者 操秀英;当量子计算遇到机器学习会碰撞出什么火花?[N];科技日报;2019年
12 记者 张梦然;全新算法助机器学习抵抗干扰[N];科技日报;2019年
13 赵熙熙;机器学习有望找到致命病毒宿主[N];中国科学报;2018年
14 本报记者 马爱平;联邦学习或可破解机器学习数据获取难题[N];科技日报;2019年
15 微纳电子系;微纳电子系任天令团队在机器学习器件上取得突破[N];新清华;2018年
16 本报记者 杨博;苹果呼吁放宽自动驾驶测试限制[N];中国证券报;2016年
17 ;大数据未来十大发展趋势[N];中国信息化周报;2016年
18 ;机器学习是否等同于人工智能[N];中国信息化周报;2016年
19 本报记者 何晓亮;工具开放:开启人工智能“全民时代”[N];科技日报;2016年
20 本报记者 李致鸿;人工智能会改变一切[N];21世纪经济报道;2016年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978