收藏本站
《南京理工大学》 2017年
收藏 | 手机打开
二维码
手机客户端打开本文

云计算平台下遥感图像分类算法的并行化技术研究

刘震  
【摘要】:高光谱遥感图像中包含着丰富的空间信息和光谱信息,使其在地物识别和分类方面较其他遥感图像更具优势,因此它在军事侦查、资源勘探和环境监测等领域广泛应用。高光谱遥感图像分类是高光谱图像处理的重要内容之一,由于高光谱遥感图像具有高维、波段多、数据量大的特点,现有串行分类算法计算复杂度较高,算法的实时性并不好,同时随着遥感器分辨率的不断提升,高光谱遥感图像数据量呈几何式增长,现有的单机计算平台难以处理产生的海量高光谱遥感图像数据。云计算技术具备分布式存储和分布式计算的特点,能够有效解决高光谱遥感图像分类的单机瓶颈问题。云计算平台下任务调度算法对任务的执行性能有着非常重要的影响,合适的调度策略可以提高任务的执行速度。因此本文对云计算平台下基于空间相关性正则化稀疏表示的高光谱遥感图像分类方法SCSRC的并行化和任务调度展开了深入研究,主要工作有:(1)常规遥感图像的传统分类算法并不能满足大数据量的高光谱遥感图像的分类需求,因此有学者提出了基于空间相关性正则化的稀疏表示分类方法SCSRC,这种分类方法不仅利用了高光谱遥感图像的光谱信息,而且添加了图像空间相邻数据之间的信息,取得了较好的分类效果。本文首先研究并在单机上实现了 SCSRC方法,并通过实验分析了该方法的时间性能,为后续云计算平台下的并行化研究提供对比依据。(2)由于SCSRC算法的计算复杂度较高,并且还受到单机尺度的限制,因此在分析SCSRC算法性能瓶颈的基础上,分别在Hadoop和Spark平台下设计了 SCSRC的并行化方法MR_SCSRC和SK_SCSRC。在MR_SCSRC算法中首先设计了基于外积法实现矩阵相乘的MapReduce方法,然后从降低Map阶段IO次数、合并计算逻辑和实现本地化规约三个方面对算法进行了优化。鉴于在Hadoop的基础上发展而来的Spark更适用于迭代计算,参考MR_SCSRC的实现思路,进一步设计了基于Spark RDD编程模型的SK__SCSRC方法。最后通过实验给出了 SK_SCSRC算法的加速比和扩展比,并将MR_SCSRC和SK_SCSRC进行了对比。(3)Hadoop现有的任务调度算法只是考虑了数据本地性,忽视了集群的负载均衡性,为此基于遗传算法设计实现了兼顾作业完成时间和集群负载均衡性的任务调度器StaticGAtaskScheduler,详细给出了该调度器在Hadoop平台下的加载调度验证,最后通过调度MR_SCSRC算法验证此调度器下算法的性能提升。
【学位授予单位】:南京理工大学
【学位级别】:硕士
【学位授予年份】:2017
【分类号】:TP751

【相似文献】
中国期刊全文数据库 前10条
1 李伟;;遥感图像中的道路提取[J];自动化博览;2006年05期
2 李传龙;李颖;马龙;;一种新的遥感图像海岸线检测方法[J];计算机仿真;2010年08期
3 张学良;肖鹏峰;冯学智;;基于图像内容层次表征的遥感图像分割方法[J];中国图象图形学报;2012年01期
4 秦其明;遥感图像自动解译面临的问题与解决的途径[J];测绘科学;2000年02期
5 陈小琪;现代计算机印前制版技术在遥感图像印制中的应用研究——以《长江经济带可持续发展地图集》为例[J];地球信息科学;2000年02期
6 邓湘金,彭海良;一种基于遥感图像的机场检测方法[J];测试技术学报;2002年02期
7 余杰千,方涛,陈雍业;一种有效的遥感图像无缝分割方法[J];计算机应用;2003年12期
8 吴为禄;遥感图像中的云层消除处理[J];铁路航测;2003年01期
9 于辉,徐军;彩色遥感图像目标提取方法研究[J];遥感技术与应用;2003年06期
10 黄勇杰,王树国,刘俊义,陈东;遥感图像去云算法研究[J];仪器仪表学报;2003年S2期
中国重要会议论文全文数据库 前10条
1 张凤春;董增寿;刘明君;;基于局部方差均衡的遥感图像增强方法[A];第六届全国信息获取与处理学术会议论文集(2)[C];2008年
2 邓冰;林宗坚;彭晓东;;遥感图像信息度量的原理与方法[A];《测绘通报》测绘科学前沿技术论坛摘要集[C];2008年
3 江兴方;江鸿;何贤强;;遥感图像两种半自动拼接方法的研究[A];全国农业遥感技术研讨会论文集[C];2009年
4 罗睿;张永生;范永弘;邓雪清;;遥感图像基于内容查询的研究与实践[A];第十三届全国遥感技术学术交流会论文摘要集[C];2001年
5 陈东;庞怡杰;黄勇杰;;大倾斜航空遥感图像快速自动镶嵌技术[A];图像 仿真 信息技术——第二届联合学术会议论文集[C];2002年
6 黄勇杰;王树国;刘俊义;陈东;;遥感图像去云算法研究[A];首届信息获取与处理学术会议论文集[C];2003年
7 谢建春;赵荣椿;;遥感图像中的军用机场识别算法研究[A];信号与信息处理技术第三届信号与信息处理全国联合学术会议论文集[C];2004年
8 陈姚;王金亮;李石华;;遥感图像中云层遮挡影响消除处理方法研究述评[A];第十五届全国遥感技术学术交流会论文摘要集[C];2005年
9 张磊;朱磊;;遥感图像中直线目标的检测[A];第十五届全国遥感技术学术交流会论文摘要集[C];2005年
10 邱磊;李国辉;衡祥安;;一种基于交互学习的遥感图像挖掘方法[A];第一届建立和谐人机环境联合学术会议(HHME2005)论文集[C];2005年
中国重要报纸全文数据库 前5条
1 蒋建科孙宏金 陈树琛;传回清晰遥感图像[N];人民日报;2008年
2 记者 郑千里;北京地区有了航空遥感图像[N];科技日报;2000年
3 本报通讯员;煤航遥感院获美国快鸟遥感图像西部代理权[N];中煤地质报;2005年
4 王石;印度通过“快鸟”影像发现古墓地[N];中国测绘报;2010年
5 记者 马彦平 张桂敏;澳大利亚钾矿钻探启动[N];农资导报;2011年
中国博士学位论文全文数据库 前10条
1 朱光;基于遥感图像的交通道路目标识别方法研究[D];吉林大学;2015年
2 祁友杰;基于SoC技术的遥感图像快速匹配方法研究[D];东南大学;2016年
3 江兴方;遥感图像去云方法的研究及其应用[D];南京理工大学;2007年
4 滕鑫鹏;遥感图像道路提取研究[D];江苏大学;2014年
5 刘春红;超光谱遥感图像降维及分类方法研究[D];哈尔滨工程大学;2005年
6 刘哲;基于信息融合的遥感图像处理方法研究[D];西北工业大学;2002年
7 强赞霞;遥感图像的融合及应用[D];华中科技大学;2005年
8 杜根远;海量遥感图像内容检索关键技术研究[D];成都理工大学;2011年
9 陶午沙;基于结构模型的遥感图像军事阵地目标特征分析及其识别技术研究[D];国防科学技术大学;2004年
10 林剑;基于模糊理论的遥感图像分割方法研究[D];中南大学;2003年
中国硕士学位论文全文数据库 前10条
1 邱磊;基于内容的遥感图像挖掘方法研究[D];国防科学技术大学;2005年
2 陈浩;高分辨遥感图像灾区建筑检测[D];南京理工大学;2015年
3 朱然;大数据量复杂背景下桥梁水坝目标快速识别[D];电子科技大学;2015年
4 王静静;基于NSCT和Shearlet变换的遥感图像增强研究[D];新疆大学;2014年
5 柴宏磊;基于知识的遥感图像港口目标识别[D];电子科技大学;2015年
6 冯一鸣;基于遥感图像中港口目标的分割算法研究与实现[D];西安电子科技大学;2014年
7 吴云坤;遥感图像变化检测技术研究[D];国防科学技术大学;2013年
8 王旭;无参考遥感图像质量综合评价算法研究[D];西安电子科技大学;2015年
9 宋玉梅;基于遥感图像的内河航道识别研究[D];重庆交通大学;2015年
10 张少辉;基于刃边法的遥感图像重建方法研究[D];西安电子科技大学;2014年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026