收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于Kafka的数字化制造车间大数据处理平台设计与实现

黄璞  
【摘要】:随着工业大数据、智能制造等概念兴起,设备数据作为能够直接反映制造过程的“第一手信息”越来越被重视。数字化制造车间作为现代制造业的基本单元,如何高效利用海量异构制造数据,是制造业现代化进程中必须解决的问题。传统制造业数据获取与处理系统往往是单一问题导向的,且仅关注某几个点,导致系统开放性、灵活性不高;而现代制造业对数据利用提出了更高的要求,需要整合度好、开放性强、灵活度高的数据平台。针对这样的现实需求,本文首先设计并构建了适用于数字化车间的四层网络拓扑结构,开发了设备统一数据采集系统。同时,基于Lambda架构,设计了能够并行对海量异构制造过程数据进行批量与流式计算的数据处理平台,并基于平台开发了B/S架构的实时可视化系统。最后,设计并搭建了硬件实验平台,用以验证系统。本文主要完成工作概括如下:(1)异构设备组网设计与设备统一数据采集系统开发。针对数字化制造车间设计了四层网络架构并对硬件选型给出了相应指导经验;研究开发了设备统一数据采集系统,克服了传统数据采集软件大多仅能采集单一种类设备数据的弊端,并在华中8型数控系统与ABB工业机械臂设备上进行了实验验证。(2)制造数据传输系统设计与实现。基于高性能分布式消息中间件Kafka开发了制造数据传输系统各模块与组件,优化设计了Kafka Topic划分策略与数据交换格式,并针对现有硬件条件,通过一系列性能调优实验,提升了数据传输系统性能。该系统能够突破传统数据传输系统应对海量异构制造数据时存在的性能瓶颈,为后续实现制造大数据平台提供基础。(3)制造车间大数据处理平台与实时可视化系统开发。对流式与批量计算进行了数学建模与算法实现,拓展应用于制造过程数据处理;基于Lambda架构,开发了能够对制造数据批量与流式计算并行的处理系统,并依托该系统开发了将数据处理结果对用户展示的B/S架构制造大数据实时可视化系统。(4)系统自动化部署实现与性能和稳定性评估。基于Docker容器化技术对系统实现了软件自动化部署,解决了复杂软件部署困难的问题;设计并搭建了硬件实验平台,对数据采集系统性能、传输系统吞吐量与延迟、可视化系统自适应性、整体系统稳定性进行了测试,证明了本文所设计与开发系统的有效性。


知网文化
【相似文献】
中国期刊全文数据库 前18条
1 李啸虎;;数据采集系统模拟量干扰信号的消除方法[J];新疆电力;2002年02期
2 尹相涛;;数据采集系统的开发与应用[J];南钢科技;2001年04期
3 白宇;;油田井下数据采集系统的相关研究[J];信息系统工程;2018年12期
4 杨萌;宿俊海;李海旺;;试验数据采集系统的信号实时性分析[J];仪器仪表用户;2019年03期
5 丁朝;;嵌入式技术在数据采集系统中的应用[J];中国新通信;2018年14期
6 莫章洁;;基于ZigBee与GPRS的农业数据采集系统设计[J];贵州师范学院学报;2016年09期
7 梁文翰;;基于单片机的电力机车数据采集系统的设计[J];现代工业经济和信息化;2016年24期
8 程佩;房海华;黄蓝;;基于FPGA+DSP的数据采集系统设计与实现[J];计算机测量与控制;2016年11期
9 张玉;姚凯学;;基于ZigBee的人体健康数据采集系统的设计[J];物联网技术;2016年12期
10 鲁楠;唐岚;廖若冰;朱加豪;;用于铁路基础设施监测的振动传感器数据采集系统设计[J];中国新技术新产品;2017年04期
11 罗小琴;;全国健康扶贫数据采集系统的构建[J];中国卫生信息管理杂志;2016年06期
12 王欣玥;王星;张红霞;张新程;;无人机数据采集系统在通信勘查中的应用要点[J];电信工程技术与标准化;2017年04期
13 帅伟;郭爱云;;一种便携式数据采集系统的硬件电路设计[J];仪表技术;2017年05期
14 张袁志;;多任务航空数据采集系统[J];科技传播;2017年12期
15 刘文天;高军伟;;基于MSP430的数据采集系统设计[J];工业控制计算机;2017年08期
16 张燕;;一种基于太阳能光伏供电的数据采集系统[J];内燃机与配件;2017年16期
17 唐开权;;林业数据采集系统设计及实现探讨[J];种子科技;2017年09期
18 孙双双;杨衍舒;王云;张志强;韩立;;低通滤波器在数据采集系统中的应用[J];教练机;2017年03期
中国重要会议论文全文数据库 前10条
1 俞林斌;黄慕雄;桂将林;汪月林;杨永耀;;分布式前置数据采集系统在大型SCADA系统的应用[A];第十一届中国智能交通年会大会论文集[C];2016年
2 刘璐;肖灵;刘光辉;;基于水下滑翔机的数据采集系统设计[A];2016年全国声学学术会议论文集[C];2016年
3 任婷婷;竺文彬;陈曦;;船舶制造企业分布式能源数据采集系统[A];2014年MIS/S&A学术交流会议论文集[C];2014年
4 闫浩;钱伟康;刘少鹏;应怀樵;杜峰;;一种可调时钟芯片在数据采集系统中的应用[A];第九届全国信号和智能信息处理与应用学术会议专刊[C];2015年
5 刘力强;马瑾;雷兴林;;多通道、高速声发射数据采集系统[A];第四届全国构造物理、第二届全国高温高压联合学术讨论会论文摘要[C];1989年
6 严宗睿;陆勤夫;陈勇;;基于智能设备的海军演习数据采集系统[A];2008年中国高校通信类院系学术研讨会论文集(下册)[C];2009年
7 武东升;郭达永;;卷接包车间数据采集系统现状发展方向和应用的研究[A];河南省烟草学会2008年学术交流获奖论文集(上)[C];2008年
8 张文栋;董海峰;;微型爆破缓冲抗高过载数据采集系统设计[A];新世纪 新机遇 新挑战——知识创新和高新技术产业发展(上册)[C];2001年
9 周兆运;詹永卫;许建华;;高速采集和深度存储的数据采集系统设计与实现[A];2009全国虚拟仪器大会论文集(二)[C];2009年
10 袁晴晴;周皓峰;陈宇达;施伯乐;;一个基于系统重建思想的数据采集系统的设计与实现[A];第十八届全国数据库学术会议论文集(技术报告篇)[C];2001年
中国博士学位论文全文数据库 前10条
1 向冬;基于CC的工业数据采集系统开发方法研究[D];西北工业大学;2006年
2 文斐;激光雷达数据采集系统框架研究[D];中国科学技术大学;2013年
3 刘列峰;一种可扩展的大规模地球物理勘探数据采集系统研究[D];中国科学技术大学;2014年
4 田楷云;地球物理勘探设备中数据采集部分若干关键技术研究[D];中国科学技术大学;2015年
5 田景文;地下油藏的仿真与预测[D];哈尔滨工程大学;2001年
6 张云鹏;激光雷达控制与数据采集系统的设计与实现[D];武汉大学;2014年
7 唐学峰;石英晶体谐振器的响应分析及其在粘弹性薄膜中的应用研究[D];中国科学技术大学;2015年
8 王凤琴;盒形件拉深智能化控制关键技术的研究[D];燕山大学;2003年
9 胡坤;基于MCP的光子计数成像数据采集系统的研究[D];中国科学技术大学;2015年
10 王永志;大型动力离心机设计理论与关键技术研究[D];中国地震局工程力学研究所;2013年
中国硕士学位论文全文数据库 前10条
1 黄璞;基于Kafka的数字化制造车间大数据处理平台设计与实现[D];电子科技大学;2019年
2 何业;林区无线传感器网络数据采集系统设计[D];中南林业科技大学;2019年
3 谢易成;水质监测平台的设计与实现[D];湖南师范大学;2019年
4 王鹏;基于Modbus协议的数据采集系统的研究[D];合肥工业大学;2019年
5 史籍;基于ARM的数据采集系统的设计[D];上海交通大学;2016年
6 张磊;基于射频组网的农业数据采集系统[D];安徽大学;2019年
7 李晓颖;基于优化EtherCAT协议的多设备数据采集系统的FPGA设计与实现[D];天津工业大学;2019年
8 李天琦;基于业务插件化的电商大数据采集系统[D];浙江工业大学;2019年
9 白芳洲;基于荧光机理的水面溢油监测技术研究[D];国家海洋技术中心;2019年
10 徐智轩;一种16位200Msps的ADC数据采集系统设计[D];中国科学技术大学;2019年
中国重要报纸全文数据库 前10条
1 记者 张雪锋;加快大数据采集系统和处理中心建设 把智慧城市建设作为精品城市重要内容[N];三亚日报;2017年
2 刘臻;中铝股份兰州分公司自主开发炭素成型工艺数据采集系统[N];中国有色金属报;2017年
3 中国人民大学 陈文忻 复旦大学 申曦霖;智能指挥 决胜千里[N];中国青年报;2017年
4 鲁总;山东总队启用农价手持数据采集系统[N];中国信息报;2012年
5 记者 陈青 何晓龙;西仪总厂井间地震装备研制取得突破 井下多级数据采集系统使用效果显著[N];中国石油报;2002年
6 记者 郑欣;福建移动 水文数据采集系统服务防旱[N];人民邮电;2009年
7 北京 蔡德聪 孙宇瑞;国外流行的一种微功耗数据采集系统[N];电子报;2001年
8 王志田通讯员 唐皖君;数据采集系统在大庆采八全面启用[N];中国石油报;2007年
9 北京 蔡德聪 孙宇瑞;BS2系列微功耗数据采集系统[N];电子报;2001年
10 ;iPAQ条码数据采集系统[N];计算机世界;2002年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978