收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于Spark Streaming的试验数据处理系统的研究与实现

李天喜  
【摘要】:随着科技的迅猛发展,走在科技前沿的航空航天领域产生的数据量正在以指数级飞速增长,其处理速度方面面临着巨大挑战。课题研究初期,面对数百GB的二进制试验数据,采用MapReduce并行计算框架实现的多机多线程进行解析计算,其性能远远超越了传统的单机多线程方式的处理能力,很大程度上解决了长时间延迟短板。但是,采用MapReduce仍然存在着以下问题:耗费大量非必要时间提前将完整二进制数据上传至分布式文件系统HDFS;计算结果数据无法实时展示;面对规模列表数据的计算,采用的仍是单机多线程从HDFS上取数据再计算并缓存的方法,具有较大的性能局限性。为了解决上述问题,本文首先从架构方面进行改进。设计基于Kafka、Spark Streaming、Redis分布式架构,进行实时数据采集、实时解析计算以及实时缓存。数据采集由三部分组成,分别是消息队列、消息数据的生产者与消费者,其中生产者是分布在不同试验场区的数据采集点。采用Kafka消息队列实现各试验子系统间高速、低延迟的大规模数据采集,降低系统之间的组网复杂度;实时解析计算引擎Spark Streaming作为消息队列的消费者,将从不同试验场区采集到的二进制数据作为解析计算引擎的输入,将流式数据按照每2秒一个间隔为单位划分成一段一段的数据,并将每段数据转换成解析计算引擎能够使用的弹性分布式数据集(RDD,Resilient Distributed Dataset),然后将解析计算引擎中对流式数据的处理转换为Spark能够进行解析计算的数据集的操作,经过解析计算,将计算结果保存到非关系型内存数据库Redis中;使用Redis实现计算结果的快速缓存,避免数据写入到硬盘,为计算结果的实时展示提供保障。其次在提出整个分布式系统架构的基础上,对数据采集和解析计算的性能进行分析与调优。通过采用Topic多分区(Parititon)、缓存发送数据并压缩等方法从消息队列架构与数据发送两方面进行数据采集过程的调优。通过平衡Spark Streaming数据接收时间窗口与速度、采用Redis连接池等策略,从数据消费、解析计算、数据缓存等数据解析计算过程进行优化。最后在实验环境中对系统进行部署测试,验证本文架构能够避免数据上传的时间浪费和解决无法实时展示解析计算结果问题。测试结果表明基于流式计算架构的新系统性能远好于课题初期MapReduce架构,达到了预期目的。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 谭劲,余胜生,周敬利;A Caching Strategy for Streaming Media[J];Journal of Shanghai University;2004年01期
2 董海燕,芦汉生,李升才,侯山峰,高稚允;New Rate Allocation Method for MPEG-4 FGS Video Streaming[J];Journal of Beijing Institute of Technology(English Edition);2005年02期
3 康亮;;HTTP Streaming技术发展趋势[J];电信网技术;2011年06期
4 郭常杰,沈国斌,李世鹏,钟玉琢;Peer-Paired Collaboration for On-Demand Streaming Applications and an Improved Error Recovery Technique[J];Tsinghua Science and Technology;2003年06期
5 戢彦泓,郭常杰,钟玉琢,孙立峰;Optimal Rate Allocation Algorithm for Multiple Source Video Streaming[J];Tsinghua Science and Technology;2004年04期
6 马然,张兆扬,江涛,石旭利;An Improved MDC-Based ORB-DCT Method for Video Streaming over the Internet[J];Journal of Shanghai University;2005年04期
7 BOUAZIZI Imed;HANNUKSELA Miska M;RAUF Usama;;Coping with handover effects in video streaming over cellular networks[J];Journal of Zhejiang University Science A(Science in Engineering);2006年S1期
8 ;Unequal Forced-Intra-Refresh for robust video streaming[J];Journal of Zhejiang University Science A(Science in Engineering);2006年10期
9 ;Equation based rate control scheme for video streaming over wireless channels with link level ARQ[J];Journal of Zhejiang University Science A(Science in Engineering);2006年10期
10 ;Hybrid ants-like search algorithms for P2P media streaming distribution in ad hoc networks[J];Journal of Zhejiang University(Science A:An International Applied Physics & Engineering Journal);2007年08期
11 ;QoS Control in Streaming Media[J];微计算机信息;2008年01期
12 CHUAH Chen-nee;YOO Ben S.J.;;Error resilient concurrent video streaming over wireless mesh networks[J];Journal of Zhejiang University Science A(Science in Engineering);2006年05期
13 PARK Sanghoon;YOON Hayoung;KIM Jongwon;;Network-adaptive HD MPEG-2 video streaming with cross-layered channel monitoring in WLAN[J];Journal of Zhejiang University Science A(Science in Engineering);2006年05期
14 ;A P2P streaming service architecture with distributed caching[J];Journal of Zhejiang University(Science A:An International Applied Physics & Engineering Journal);2007年04期
15 ;Dust Acoustic Wave in Dusty Plasmas With Streaming Ions Under Ultraviolet Irradiation[J];空间科学学报;2012年02期
16 秉正;;新音乐心享受 利用流传输24/96音乐 Streaming 24/96 over the Internet[J];家庭影院技术;2013年03期
17 王浩,沈国斌,李世鹏,钟玉琢;Efficient Error Recovery Techniques in a Novel Multimedia Streaming Framework with Peer-Paired Collaboration[J];Tsinghua Science and Technology;2003年02期
18 CHOU Philip A;;Adaptive peer-to-peer streaming with MutualCast[J];Journal of Zhejiang University Science A(Science in Engineering);2006年05期
19 ;ZTE Exclusively Demonstrates LTE-A CoMP-Based Services at Mobile World Congress 2011[J];ZTE Communications;2011年01期
20 ERiC;;Streaming Audio Player小巧易用[J];软件;2001年10期
中国重要会议论文全文数据库 前10条
1 Xiaoyu Ma;Rui Jin;;Design and implementation of a streaming media transmission system[A];Proceedings of 2011 International Conference on Computer Science and Information Technology(ICCSIT 2011)[C];2011年
2 Xudong Sun;Jianjun Lu;;The Research in Streaming Media On-Demand Technology based on IP Multicast[A];proceedings of 2010 3rd International Conference on Computer and Electrical Engineering (ICCEE 2010 no.1)[C];2012年
3 冯侦探;;A Physical Topology Related Overlay Network for the P2P Media Streaming System[A];第二届中国科学院博士后学术年会暨高新技术前沿与发展学术会议程序册[C];2010年
4 ;Video analysis based real time smart streaming video codec[A];第一届建立和谐人机环境联合学术会议(HHME2005)论文集[C];2005年
5 ;A Congestion Control Mechanism of Streaming Media Transmission[A];第一届建立和谐人机环境联合学术会议(HHME2005)论文集[C];2005年
6 ;Investigation of Flow Field in Microchannel Actuated by Ultrasonic Vibration[A];第二届全国压电和声波理论及器件技术研讨会摘要集[C];2006年
7 Z.WANG;A.T.SORNBORGER;L.TAO;;A neural circuit for binding spatially localized objects from streaming visual information[A];中国神经科学学会第十届全国学术会议论文摘要集[C];2013年
8 Li-fang Zhao;;Streaming Media Technology in the Digital Library Information Transmission[A];proceedings of 2010 3rd International Conference on Computer and Electrical Engineering (ICCEE 2010 no.2)[C];2012年
9 ;Protocol of Steganography in Streaming Media on VOIP Network Based on Variable Length Coding[A];Information Technology and Computer Science—Proceedings of 2012 National Conference on Information Technology and Computer Science[C];2012年
10 Li-jun Sun;Li-ying Yu;Hao Xu;Liang Shi;Jian-bao Zhang;;Synergistic effects of fluid shear stress and pulsed electromagnetic field on osteoblasts[A];第十届全国生物力学学术会议暨第十二届全国生物流变学学术会议论文摘要汇编[C];2012年
中国硕士学位论文全文数据库 前9条
1 Fredrik Rosenqvist;基于Web的流平台服务器端的设计与实现[D];哈尔滨工业大学;2015年
2 宁永恒;基于Spark的若干数据挖掘技术研究[D];中国计量学院;2015年
3 李天喜;基于Spark Streaming的试验数据处理系统的研究与实现[D];西安电子科技大学;2015年
4 李云飞;基于HTTP Streaming的课程直播系统中流传输子系统的优化[D];上海交通大学;2013年
5 陈达伟;一种面向用户体验提升的HTTP Streaming播放优化技术[D];北京邮电大学;2014年
6 陈靖隆;基于Http Live Streaming Protocol的移动流媒体系统设计与实现[D];华南理工大学;2011年
7 谢顺华;分布式医学影像数据的Streaming技术框架研究及实践[D];浙江大学;2003年
8 Salah Addin Mohammed;[D];北京理工大学;2015年
9 李光耀;基于Darwin技术多适应性TS流推送服务器的研究与实现[D];电子科技大学;2012年
中国重要报纸全文数据库 前1条
1 董 权;录音产业值得期待[N];中国计算机报;2004年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978