收藏本站
《中国科学院大学(中国科学院沈阳计算技术研究所)》 2018年
收藏 | 手机打开
二维码
手机客户端打开本文

基于Spark的可扩展的数字信号处理算法库的设计与实现

乔昕  
【摘要】:随着互联网技术的飞速发展,智能制造业受到了广泛的关注,工业设备积累的模拟信号数据量呈现爆炸式的增长。传统的基于DSP与FPGA的数字信号处理技术更加适用于实时信号处理,且受到数据规模和频率分辨率的限制,使得其不适于进行大规模数据下的离线式数据处理、分析与挖掘的应用。Spark是面向大规模数据处理的并行计算引擎,在大数据处理方面有广泛的应用。本文依托工业大数据分析平台,借助于Spark的并行计算优势,采用Spark作为该分析平台实时信号数据处理和离线信号处理加速的计算引擎。但该平台在功能方面还存在一些缺陷,例如目前该分析平台缺少适用于分布式并行计算引擎的数字信号处理等数学计算的解决方案。基于此,本文提出了基于Spark的分布式数字信号处理算法库,为面向分析的工业大数据应用场景提供支撑。本文详细介绍了该算法库的组成结构、架构设计思想和底层实现细节,并以快速傅里叶变换(FFT)算法、离散余弦变换算法的快速实现方案(B.G.Lee算法)和小波变换算法的快速实现方案(Mallat算法)为例介绍了传统数字信号处理算法在Spark下的分布式实现思路,最后对以上三个分布式算法进行了正确性测试,并进而对整个算法库进行了正确性测试和性能分析。结果表明该算法库能够正确地完成数字信号处理的功能,同时可以满足工业大数据分析平台对于大规模数据集进行数字信号处理的需求。
【学位授予单位】:中国科学院大学(中国科学院沈阳计算技术研究所)
【学位级别】:硕士
【学位授予年份】:2018
【分类号】:TP311.13

【参考文献】
中国期刊全文数据库 前4条
1 英昌甜;于炯;卞琛;王维庆;鲁亮;钱育蓉;;基于RDD关键度的Spark检查点管理策略[J];计算机研究与发展;2017年12期
2 孙少林;汤伟;任小青;申莉华;;H.264中的整数DCT及其蝶形算法[J];信息技术;2013年10期
3 谢彦红,李扬;小波函数容许条件的研究[J];沈阳化工学院学报;2005年01期
4 张奉军,周燕,曹建国;MALLAT算法快速实现方法及其应用研究[J];自动化与仪器仪表;2004年06期
中国博士学位论文全文数据库 前3条
1 石勇;面向云计算的可信虚拟环境关键技术研究[D];北京交通大学;2017年
2 王大伟;数字信号处理算法在相干光通信系统中的应用研究[D];浙江大学;2013年
3 成礼智;离散与小波变换新型算法及其在图像处理中应用的研究[D];国防科学技术大学;2002年
中国硕士学位论文全文数据库 前10条
1 罗永青;基于Key值解决MapReduce中Reduce负载不均衡算法[D];安徽理工大学;2017年
2 王海华;Spark数据处理平台中内存数据空间管理技术研究[D];北京工业大学;2016年
3 杨忙忙;Spark数据处理平台中资源动态分配技术研究[D];北京工业大学;2016年
4 何刚;基于TMS320C6678的32核DSP阵列处理板设计及实现[D];电子科技大学;2016年
5 王建光;基于FFT的电网谐波分析仪的设计与实现[D];中国科学院大学(工程管理与信息技术学院);2015年
6 张辰;Map/Reduce型海量数据处理平台中内存资源动态分配关键技术研究[D];北京工业大学;2015年
7 刘招;基于Hadoop的智能套印系统云计算平台的研究[D];华中科技大学;2015年
8 寇婷婷;基于高阶曲面拟合和统计推断的图像噪声强度估计[D];兰州大学;2015年
9 杨继明;基于Hadoop云平台风电机组振动数据处理的技术研究[D];华北电力大学;2015年
10 周晶;基于VLIW的高效DCT/IDCT实现方法[D];天津大学;2014年
【共引文献】
中国期刊全文数据库 前10条
1 乔昕;刘峰;于碧辉;;基于Spark的分布式数字信号处理算法库设计[J];计算机系统应用;2018年08期
2 么子云;朱丽娜;潘彪;薛继旭;张进杰;;一种基于小波包与KPCA的发动机多信号融合故障诊断方法[J];现代制造工程;2018年06期
3 邓慧芳;孙传猛;杨孟;谢锐;魏涯峰;;基于小波-EEMD-Adaline网络的容栅传感器信号去噪方法[J];传感技术学报;2018年06期
4 周朝栋;张有全;许竞文;刘梦思;;基于变动窗口和移动序列的基因识别算法[J];基因组学与应用生物学;2017年06期
5 王贵清;徐明;文得进;刘丹丹;王峰;宋春枝;韩艳;;远探测声波测井多尺度相关法提取反射波[J];西安石油大学学报(自然科学版);2016年04期
6 陈勇;吴晓民;杨坚;奚宏生;;基于CUDA的H.264并行解码器设计与实现[J];计算机工程;2016年05期
7 牟力;陈召曦;;重力资料多尺度分析最优小波基的选择[J];物探与化探;2015年05期
8 赖建飞;雷晓燕;刘庆杰;;LabVIEW小波变换在轮轨力应变信号处理中的应用[J];城市轨道交通研究;2015年02期
9 谭小容;陈朝峰;查代奉;;数字图像多小波逆变换及后置滤波算法[J];计算机应用;2014年05期
10 马敏;韩路军;侯敏;;多步提升小波变换的FPGA实现[J];自动化仪表;2013年07期
中国博士学位论文全文数据库 前7条
1 李学良;大气激光通信数字相干探测关键技术研究[D];中国科学院大学(中国科学院长春光学精密机械与物理研究所);2018年
2 徐俊;基于信息融合的用户收听日志分析与融媒体广播应用设计的研究[D];上海大学;2017年
3 韩纪龙;相干光通信中数字信号处理算法优化研究[D];华中科技大学;2017年
4 冯振华;中短距光纤通信系统关键技术研究[D];华中科技大学;2017年
5 王丹石;弹性光网络中的信号处理关键技术与应用研究[D];北京邮电大学;2016年
6 黄凌晨;下一代相干光通信系统的数字信号处理技术研究[D];浙江大学;2016年
7 刘玉民;相干光通信系统中信道均衡与频偏估计算法研究[D];北京科技大学;2016年
中国硕士学位论文全文数据库 前10条
1 郑钤;基于MapReduce大数据连接算法优化研究[D];湖北民族学院;2018年
2 乔昕;基于Spark的可扩展的数字信号处理算法库的设计与实现[D];中国科学院大学(中国科学院沈阳计算技术研究所);2018年
3 高义;时栅传感器远程监控系统信号采集与分析算法研究[D];重庆理工大学;2018年
4 张越然;基于spark的化工装置平稳度实时预测模型[D];北京交通大学;2018年
5 唐宁;基于电网谐波检测的FFT算法研究及应用[D];北京服装学院;2018年
6 张梅;基于Spark-on-EGO的资源调度器的设计与实现[D];西安电子科技大学;2017年
7 彭进;基于云平台的风电机组轴承的故障诊断研究[D];新疆大学;2017年
8 张劲;LED灯具谐波发射特性研究[D];安徽大学;2017年
9 张静;低压配电网电能质量监测装置的设计与实现[D];太原理工大学;2017年
10 王海华;Spark数据处理平台中内存数据空间管理技术研究[D];北京工业大学;2016年
【二级参考文献】
中国期刊全文数据库 前6条
1 万虎;徐远超;闫俊峰;孙凤芸;张伟功;;通过非易失存储和检查点优化缓解日志开销[J];计算机研究与发展;2015年06期
2 易会战;王锋;左克;杨灿群;杜云飞;马亚青;;基于内存缓存的异步检查点容错技术[J];计算机研究与发展;2014年06期
3 孟小峰;慈祥;;大数据管理:概念、技术与挑战[J];计算机研究与发展;2013年01期
4 周恩强,卢宇彤,沈志宇;一个适合大规模集群并行计算的检查点系统[J];计算机研究与发展;2005年06期
5 张晓燕,谢珺堂;H.264的整数DCT变换编码与量化过程[J];军民两用技术与产品;2005年05期
6 于娜,沈庭芝;新一代视频压缩标准H.264中数据的变换和量化[J];现代电视技术;2005年02期
中国博士学位论文全文数据库 前1条
1 赵勇;重要信息系统安全体系结构及实用模型研究[D];北京交通大学;2008年
中国硕士学位论文全文数据库 前10条
1 张辰;Map/Reduce型海量数据处理平台中内存资源动态分配关键技术研究[D];北京工业大学;2015年
2 姚鑫东;基于多核DSP的实时雷达信号处理平台设计[D];西安电子科技大学;2014年
3 冯琳;集群计算引擎Spark中的内存优化研究与实现[D];清华大学;2013年
4 王宾;Hadoop集群的部署与管理系统的设计与实现[D];南京大学;2013年
5 耿玉娇;MapReduce中基于抽样技术的倾斜问题研究[D];大连海事大学;2013年
6 张颖川;多核数字信号处理平台的设计与实现[D];西安电子科技大学;2013年
7 吴兆阳;基于稀疏表示的CCD噪声估计及滤除[D];天津大学;2012年
8 莫望华;DCT域分布式视频编码中量化及混合编码算法研究[D];华南理工大学;2012年
9 王威;MySQL数据库源代码分析及存储引擎的设计[D];南京邮电大学;2012年
10 张发兵;智能高效航迹处理算法研究[D];江苏科技大学;2012年
【相似文献】
中国期刊全文数据库 前10条
1 刘云松;;基于新形势下的数字信号处理技术的应用和发展研究[J];中国战略新兴产业;年期
2 王志勇;王强;;数字信号处理技术的应用与发展[J];黑龙江科学;2017年21期
3 廖运夺;何海浪;;数字信号处理技术的发展及应用[J];广东蚕业;2017年08期
4 刘军;;数字信号处理技术的应用和发展[J];电子技术与软件工程;2018年07期
5 赵一霈;;DSP的发展与应用[J];电子技术与软件工程;2018年06期
6 裴兴庭;应雨希;;数字信号处理技术分析与研究[J];电脑知识与技术;2018年18期
7 佀达;;数字信号处理的应用探索[J];信息记录材料;2018年08期
8 蔡金池;赵珂珂;秦波;周扬;;数字信号处理技术的应用与发展[J];计算机产品与流通;2018年04期
9 宋元清;;数字信号处理技术的发展[J];山东工业技术;2016年24期
10 徐瑞林;;数字信号处理技术的应用与发展[J];中国培训;2017年04期
中国重要会议论文全文数据库 前10条
1 张葛祥;赵舵;朱英华;李崇维;;电气信息类专业“数字信号处理”课程双语教学的探讨与实践[A];第6届全国高等学校电气工程及其自动化专业教学改革研讨会论文集(上册)[C];2009年
2 童利标;刘昌锦;袁魏华;李从利;陆文骏;陈文兵;;数字信号处理重点建设课程的改革与实践[A];2009年中国高校通信类院系学术研讨会论文集[C];2009年
3 王鸿斌;王华奎;;应用型本科“数字信号处理”教学内容建设的研究[A];中国电子教育学会高教分会2009年论文集[C];2009年
4 吴小培;李晓辉;;“数字信号处理”课程教学改革的体会与认识[A];电子高等教育学会2003年学术年会论文集[C];2003年
5 高西全;王军宁;丁玉美;阔永红;党英;;“数字信号处理”课程建设与改革[A];电子高等教育学会2003年学术年会论文集[C];2003年
6 吕振肃;;首批国家精品课程《数字信号处理》简评[A];电子高等教育学会2004年学术年会论文集[C];2004年
7 高西全;王军宁;丁玉美;阔永红;党英;;“数字信号处理”课程建设与改革[A];跨入新世纪——电子信息类专业教学改革之路[C];2005年
8 吕振肃;;首批国家精品课程“数字信号处理”简评[A];跨入新世纪——电子信息类专业教学改革之路[C];2005年
9 杨鉴;柏正尧;王静;;“数字信号处理”精品课程建设的几点体会[A];电子高等教育学会2008年学术年会论文集[C];2008年
10 胡居荣;曹宁;;基于认知心理的数字信号处理教学改革[A];电子高等教育学会2008年学术年会论文集[C];2008年
中国重要报纸全文数据库 前10条
1 ;6类系统正成为主流布线方案[N];人民邮电;2004年
2 艺伦;数字信号处理技术成为主流[N];中国商报;2000年
3 艺伦;防窃系统未来发展概念(未完待续)[N];中国商报;2000年
4 穆易;保点助跑澳大利亚零售业[N];中国商报;2002年
5 上海 沈海宾;DSP[N];电脑报;2000年
6 吴艳;音视潮针对中国市场开发新产品[N];中国知识产权报;2007年
7 本报记者 王小庆;逐步渗透ASIC与DSP市场 PLD厂商寻找新商机[N];中国电子报;2001年
8 赵艳秋;高端FPGA瞄准三大方向[N];中国电子报;2004年
9 陈富勇;DSP市场需求时代已经来临[N];西部时报;2004年
10 中兴通讯 余建军;下一站天后:超100G[N];通信产业报;2014年
中国博士学位论文全文数据库 前10条
1 刘守山;超声数字信号处理系统可重构架构的研究[D];浙江大学;2007年
2 熊伟;Loran-C数字信号处理的关键技术研究[D];中国科学院研究生院(国家授时中心);2008年
3 霍兵勇;钢筋混凝土受弯构件动力参数识别和损伤诊断研究[D];湖南大学;2014年
4 蒋天炜;大动态范围微波光子下变频技术研究[D];北京邮电大学;2014年
5 马上;基于余数系统的数字信号处理VLSI实现关键技术研究[D];电子科技大学;2009年
6 易晗;多丝漂移室探测器系统的研制和测试[D];清华大学;2016年
7 李涛;高性能数字信号处理器的研究与设计[D];西北工业大学;2002年
8 朱晓华;脉位调制脉冲串雷达信号理论与应用研究[D];南京理工大学;2002年
9 陈杰男;基于概率计算的无线通信DSP系统高效VLSI实现技术研究[D];电子科技大学;2014年
10 徐天华;高速相干光纤通信系统中色散补偿及载波相位评估的研究[D];天津大学;2012年
中国硕士学位论文全文数据库 前10条
1 乔昕;基于Spark的可扩展的数字信号处理算法库的设计与实现[D];中国科学院大学(中国科学院沈阳计算技术研究所);2018年
2 杨泽国;新型数值表征方法在现代数字信号处理中的应用研究[D];电子科技大学;2018年
3 张颖川;多核数字信号处理平台的设计与实现[D];西安电子科技大学;2013年
4 李波;基于FPGA实现船用导航雷达数字信号处理设计[D];大连海事大学;2008年
5 苏福顺;微波散射计数字信号处理技术的研究[D];北京理工大学;2015年
6 赵健;导航接收机数字信号处理平台设计与实现[D];哈尔滨工程大学;2006年
7 蒲正将;频谱仪中的数字信号处理软件设计[D];电子科技大学;2010年
8 张慧;数字存储示波器中的数字信号处理研究[D];东南大学;2006年
9 覃伟;面向数字信号处理应用的RISC处理器执行优化[D];复旦大学;2010年
10 鲁玉波;基于嵌入式系统的数字信号处理平台的研究[D];哈尔滨工程大学;2006年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026