收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

面向并行计算的仪器内数据管理的研究

梁洋洋  
【摘要】:网络化测试系统融合了计算机技术、网络技术和通信技术,在智能化、自动化领域发挥着异常重要的作用。目前网络化测试系统中多采用集中的数据处理方式,该处理方式依赖主机的性能,存在网络传输负载压力大、数据处理实时性差和系统资源利用率低等问题。系统测试主机的性能在规模较小的局域网内并不突出,但网络负载传输压力、数据处理实时性问题在飞机测试和遥感测试领域以及物联网、云计算中表现明显。通过本地并行的数据处理方式,提高系统的资源利用率,有望缓解带宽传输压力和数据处理效率问题。而并行计算中主要的性能瓶颈均来自通信开销,为了缓解并行计算中通信开销的问题,本文提出了面向数据规模的仪器端的数据管理方案。首先,本文基于网络化测试系统架构搭建了局域网内的并行计算平台。采用并行计算技术实现分布式处理,搭建了基于集群的作业管理系统,由主控计算机监控集群中的计算节点的资源状态信息和用户交互。本文选取了高性能的消息传递模型MPI(Message Passing Interface)作为并行计算平台的通信实现,同时配合hydra进程调度器进行进程的管理。其次,分析了并行计算的编程模型和并行算法设计,选取了数字信号处理领域中应用最广泛的快速傅里叶变换(Fast Fourier Transmission,FFT)算法作为研究对象。分析了蝶形计算的可并行性因素,设计了基于数据块划分的并行FFT算法。设计实验在MPI并行通讯库下验证了不同规模下不同计算节点的加速比和执行时间,得出了并行计算平台下,小规模数据处理实时性严重受到通信开销的制约,可以通过提高数据处理的规模来降低通信占比,提高系统的资源利用率同时提高并行加速比,为网络化测试系统中仪器内数据处理方案提供理论借鉴。基于以上实验验证,针对并行计算中不可避免的通信开销问题,设计了面向数据规模的仪器内数据管理方案。从通信开销和资源利用率两个角度出发,对于小规模数据进行本地资源计算,降低通信开销,保证数据处理实时性;对于大规模数据处理则通过并行计算平台中多节点协同并行实现。该数据管理方式,在一定数据规模内比主控计算机数据处理快,存在着替代集中处理方式的可行性。4节点并行计算得到了2.5的加速比,提高了仪器节点的资源利用,有效的保证了系统的稳定性、灵活性和可扩展性。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 王同科;常慧宾;王彩华;;信息与计算科学专业并行计算人才培养模式研究与实践[J];高师理科学刊;2016年02期
2 李欣;王婷;;MPI并行计算在图像处理方面的应用[J];科学中国人;2017年12期
3 杨学军;;并行计算六十年[J];计算机工程与科学;2012年08期
4 李燕;徐冠;;测控系统的集群并行计算的实现[J];桂林航天工业学院学报;2012年04期
5 余莲;;MATLAB并行计算:让高性能计算资源的利用更加高效[J];电子技术应用;2009年01期
6 姚学礼;;网络并行计算中的负载平衡[J];光盘技术;2008年12期
7 梁丹;冯菊;陈星;;高效率FDTD网络并行计算研究[J];四川大学学报(自然科学版);2006年03期
8 曹卫;并行计算——计算科学与工程的核心[J];上海城市管理职业技术学院学报;2004年S1期
9 戴光明,孟永良;网络并行计算中动态负载平衡的实现[J];计算机工程与应用;1998年10期
10 庄昌文,林晓东,刘心松;实现并行计算的群集系统[J];计算机应用;1998年06期
11 朱福民;;并行计算的软件环境与硬件结构[J];计算机科学;1992年04期
12 赵自春;m阶线性递归的并行计算[J];计算机工程与科学;1988年02期
13 彼得·J.丹宁,李堂秋;并行计算及其进展[J];科技导报;1988年01期
14 KAVI ,郁兰;数据流图模型的一个形式定义[J];长沙水电师院(自然科学学报);1988年01期
15 蒋伯诚,成克懋;快速傅里叶变换的并行计算[J];计算物理;1989年01期
16 林阿龙;;并行计算模型OOPCM[J];东南大学学报;1989年01期
17 陈国良;;VLSI 并行计算[J];计算机工程与应用;1989年02期
18 刘亚平;;算术表达式的最优并行计算树的生成算法[J];计算技术与自动化;1989年02期
19 V.P.Krothapalli;P.Sadayappan;常春喜;;关于并行计算的实现方法[J];计算机工程与科学;1989年03期
20 费浦生;郑慧娆;;摹矩阵连乘积并行计算[J];武汉大学学报(自然科学版);1989年01期
中国重要会议论文全文数据库 前10条
1 王元元;曾建潮;谭瑛;;基于并行计算模型的并行微粒群算法的性能分析[A];2007年全国开放式分布与并行计算机学术会议论文集(上册)[C];2007年
2 孙乐;何颖波;吴瑞安;石正军;李于峰;;面向对象有限元并行计算框架的多场耦合服务[A];中国计算力学大会'2010(CCCM2010)暨第八届南方计算力学学术会议(SCCM8)论文集[C];2010年
3 裘懿勇;徐斌;刘晓明;;并行计算作业调度系统的架构及应用[A];第十四届中国科协年会第5分会场:绿色船舶与海洋装备创新发展及产业化论坛论文集[C];2012年
4 裘懿勇;徐斌;刘晓明;;并行计算作业调度系统的架构及应用[A];2012年MIS/S&A学术交流会议论文集[C];2012年
5 张伟;张立民;;实现PVM环境下TNT软件的并行计算[A];第十六届中国古脊椎动物学学术年会论文集[C];2018年
6 左风丽;莫则尧;叶文华;;计算流体三维分裂格式的高效并行计算[A];中国工程物理研究院科技年报(2003)[C];2003年
7 李刚;;蒙特卡罗区域分解并行计算的伪随机数应用[A];中国工程物理研究院科技年报:2013年版[C];2013年
8 胡金初;;并行计算中的任务分配算法[A];2005年全国理论计算机科学学术年会论文集[C];2005年
9 张理涛;黄廷祝;谷同祥;左宪禹;;一种适合于分布式并行计算改进的平方共轭残差法[A];2008年全国开放式分布与并行计算机学术会议论文集(下册)[C];2008年
10 王晓彤;王希敏;;波束形成多核并行计算加速比分析[A];中国声学学会水声学分会2015年学术会议论文集[C];2015年
中国博士学位论文全文数据库 前10条
1 杨昌棋;力学测试与计算中的若干技术研究[D];重庆大学;2004年
2 王开健;基于特大增量步算法的网络并行计算[D];清华大学;2005年
3 付朝江;集群MPI环境下有限元结构分析并行计算研究[D];上海大学;2006年
4 郑奎松;FDTD网络并行计算及ADI-FDTD方法研究[D];西安电子科技大学;2005年
5 管建和;电磁场有限元法解释分布式并行计算的研究[D];中国地质大学(北京);2006年
6 刘耀儒;三维有限元并行计算及其在水利工程中的应用[D];清华大学;2003年
7 孙安香;数值气象预报变分同化的伴随模式并行计算[D];中国人民解放军国防科学技术大学;2002年
8 龙柏;并行计算平台上的数据索引技术研究[D];中国科学技术大学;2011年
9 张帆;过程系统优化的分布式并行计算[D];浙江大学;2002年
10 苗新强;有限元结构分析多层并行算法研究及应用[D];上海交通大学;2015年
中国硕士学位论文全文数据库 前10条
1 王一朝;顺序数据同化方法的并行计算研究[D];西北师范大学;2018年
2 梁洋洋;面向并行计算的仪器内数据管理的研究[D];哈尔滨工业大学;2018年
3 汤涛;概率粗糙集动态并行计算研究及其在Spark平台的应用[D];南昌大学;2018年
4 陈航;ELBM算法的并行化研究与实现[D];湖南大学;2015年
5 张仁洪;基于异构集群的SVM并行计算研究[D];电子科技大学;2018年
6 谢卫云;基于CUDA的和谐系数并行实现研究[D];广东工业大学;2018年
7 弓静;嵌入式并行计算管理中间件技术研究[D];浙江大学;2018年
8 段鹏喆;基于大数据Storm架构下的铁路车流预测并行计算设计与实现[D];北京交通大学;2017年
9 钟海;基于多块网格对低层建筑风场分区并行计算[D];中南林业科技大学;2017年
10 陈乾定;基于龙芯的并行计算设计与实现[D];西南科技大学;2017年
中国重要报纸全文数据库 前10条
1 山西 刘国信;GPU的应用之路[N];电子报;2017年
2 本报记者 孙喜保;“中国超算”一鸣惊人的背后[N];工人日报;2017年
3 轶嘉;英特尔全球首个并行计算中心落户无锡[N];人民邮电;2009年
4 曙光信息产业有限公司研发中心 温鑫;并行计算任重道远[N];中国计算机报;2007年
5 英特尔 赵军(Jun Zhao);PC机并行计算革命尚未成功[N];中国计算机报;2009年
6 英特尔并行计算实验室研究员 TimothyMattson;并行计算:减少串行软件[N];中国计算机报;2007年
7 安世亚太 雷先华;ANSYS高性能并行计算[N];中国航空报;2005年
8 ;Linux下的网络并行计算[N];计算机世界;2000年
9 江锡民;英特尔并行计算中心落户无锡[N];新华日报;2009年
10 曙光信息产业有限公司研发中心 温鑫;并行计算软件开发概述[N];中国计算机报;2007年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978