收藏本站
《武汉大学》 2014年
收藏 | 手机打开
二维码
手机客户端打开本文

基于MapReduce的遥感影像并行处理关键问题研究

夏辉宇  
【摘要】:随着传感器技术的高速发展,遥感影像数据规模在近年来呈现出了爆炸式的增长。给传统遥感影像处理领域提出了极大的挑战。如何高效地处理大规模遥感数据,挖掘隐藏在其中的信息和知识,为气候、农业、生态和环境监测等实际应用领域提供决策支撑,是遥感信息科学面临的重要挑战,也是遥感应用研究中急需解决的重要问题。为了满足日益增长的遥感影像数据计算处理需求,获得实时或准实时的处理结果,越来越多的研究开始关注结合高性能并行计算技术对海量遥感影像进行并行处理。面向大规模遥感影像,可扩展性是遥感并行处理算法必备的特性之一。尽管现有遥感影像并行处理研究工作中常用的MPI、 CUDA和OpenMP等并行计算模型在小规模实时性较高的遥感应用中取得了良好的效果,但是这些模型普遍存在扩展性不足的缺陷,无力面对更大规模的准实时遥感处理需求。而近年来,MapReduce并行模型以其良好的可扩展性、高容错性以及编程简单等优点,在遥感并行处理中得到了越来越广泛的应用。 本论文从算法及系统两个角度关注MapReduce遥感影像并行处理,针对其中存在的关键性、挑战性问题展开研究。尽管现有基于MapReduce并行模型的遥感并行算法在大规模遥感影像处理中取得了不错的效果,但是由于模型设计上的特点,MapReduce很难实现遥感全局型算法,典型的包括遥感聚类初始化算法的并行化;此外,MapReduce在迭代式遥感算法如遥感聚类算法的并行化中亦存在性能瓶颈。另一方面,现有研究工作中MapReduce遥感处理实验系统的部署方式还存在难以管理和难以快速扩展的问题。本文围绕这些关键问题展开论述,提出一系列具有创新性的解决思路及方法。 首先,本文对现有MapReduce遥感并行处理算法研究工作进行高度总结和提炼,在此基础上提出了MapReduce遥感并行算法设计模式。MapReduce遥感并行处理算法设计模式主要包括独立式MapReduce遥感并行算法设计模式和组合式MapReduce遥感并行算法设计模式两种。遵循这些设计模式,大部分自动化程度较高的遥感算法都能够实现MapReduce并行化。 其次,本文针对全局型遥感算法MapReduce并行化难点问题,以遥感影像聚类初始化Kaufman算法为具体对象,设计它的并行方案。从传统遥感并行计算数据划分方法的局限性角度分析,提出一种新的基于系统采样的数据划分方法GS3(Grid-based Sequential Systematic Sampling),解决了并行算法执行过程中全局信息的维护的难题,并在GS3的基础上进一步提出基于MapReduce的Kaufman聚类初始化并行算法MPK(MapReduce-based Parallel Kaufman)。实验证明MPK在不损失原有算法精度的前提下,有效减少了处理时间,且具有良好的可扩展性 然后,本文针对迭代式遥感算法MapReduce并行化难点问题,选择遥感影像非监督ISODATA聚类算法为具体对象,研究算法的并行化方案。通过分析现有基于MapReduce的遥感ISODATA聚类算法并行化方法中存在的性能瓶颈,以及形成该瓶颈的根本原因,提出一种并行化全局子采样方法PGSS(Parallel Global Sub-Sampling)。再以PGSS全局样本数据块为基础,提出一种改进的并行ISODATA聚类算法SPI(Scalable Parallel ISODATA).实验结果表明,相比传统ISODATA聚类算法,SPI在处理大影像文件时具有更高的精度;同时,SPI还有效解决了现有并行方案中存在的瓶颈问题。 此外,本文针对大规模遥感影像并行处理时间受限于影像数据网络传输的问题,提出了一种基于对等网络(P2P)并行传输协议BitTorrent的遥感影像并行流式传输模型BTI-Stream(BitTorrent-based Image Stream)。通过模拟实验,表明BTI-Stream模型在实现高效并行影像流式传输的同时,能够有效保证大量节点并发访问时系统的稳定性,而且在控制对等网络平衡性方面也较同类算法有了较大改进。 最后,本文针对现有研究中MapReduce遥感处理(实验)系统部署方式难以管理和快速扩展的问题,设计并构建了一种基于私有云平台的MapReduce遥感并行处理原型系统。得益于云平台OpenStack资源虚拟化技术的优点,运行在虚拟机实例上的MapReduce遥感并行处理原型系统能够快速灵活的扩展节点规模。在此原型系统中开展大规模NDVI时间序列分析处理并应用于遥感植被覆盖分类及水体提取,取得了良好的效果。
【学位授予单位】:武汉大学
【学位级别】:博士
【学位授予年份】:2014
【分类号】:P237

【相似文献】
中国期刊全文数据库 前10条
1 陈秋晓,骆剑承,周成虎;基于多特征的遥感影像分析——一个新的视角[J];国土资源遥感;2003年01期
2 王占宏,杜道生;模糊综合评价法在数字遥感影像产品质量评价中的应用[J];测绘科学;2004年S1期
3 杜培军,唐宏,方涛;基于内容的遥感影像检索若干问题的研究[J];中国矿业大学学报;2005年03期
4 王占宏,杜道生;模糊综合评价法在数字遥感影像产品质量评价中的应用[J];武汉大学学报(信息科学版);2005年05期
5 汪承义;赵忠明;;遥感影像流程化处理系统的设计与实现[J];测绘科学;2006年06期
6 史本伟;陈圣波;湛邵斌;;遥感影像库中影像布局功能的开发实现[J];吉林大学学报(地球科学版);2006年S1期
7 江水;洪鸣;盛业华;;实现遥感影像的3维漫游[J];测绘与空间地理信息;2007年01期
8 任向红;陆宇红;仇生泉;;4D产品在遥感影像纠正中的应用[J];测绘与空间地理信息;2007年03期
9 鹿琳琳;郭华东;;利用遥感影像自动估算深圳福田城市人口[J];遥感信息;2008年02期
10 徐秋晓;于明洋;崔健;;基于遥感影像理解模型的土地利用时空变化监测——以龙口市为例[J];测绘科学;2008年02期
中国重要会议论文全文数据库 前10条
1 张广耀;汪小钦;邬群勇;;遥感影像地图在线服务系统设计与实现[A];第十七届中国遥感大会摘要集[C];2010年
2 熊剑;;地形起伏地区的遥感影像预处理研究[A];第十五届全国遥感技术学术交流会论文摘要集[C];2005年
3 傅晓俊;;遥感影像应用现状及其展望[A];测绘荆楚——湖北省测绘学会2005年“索佳杯”学术论文集[C];2005年
4 肖倩;李光耀;;航空遥感影像道路提取方法综述[A];全国第十届信号与信息处理、第四届DSP应用技术联合学术会议论文集[C];2006年
5 傅晓俊;;遥感影像应用现状及其展望[A];经天纬地——全国测绘科技信息网中南分网第十九次学术交流会优秀论文选编[C];2005年
6 李江涛;;遥感影像在海事测绘中的应用[A];2007'全国测绘科技信息交流会暨信息网成立30周年庆典论文集[C];2007年
7 胥亚;杜为财;袁立伟;叶荣生;;遥感影像道路提取现状与展望[A];第四届“测绘科学前沿技术论坛”论文精选[C];2012年
8 马海涛;;探讨遥感影像的校正与误差来源——以鸡西市为例[A];2006年中国土地学会学术年会论文集[C];2006年
9 李江涛;;遥感影像在海事测绘中的应用[A];华东地区第十次测绘学术交流大会论文集[C];2007年
10 杨博雄;;基于北斗二代与遥感影像的定位与导航技术研究[A];2009年全国测绘仪器综合学术年会论文集[C];2009年
中国重要报纸全文数据库 前10条
1 张鹏英;国产遥感影像迎来共享时代[N];科技日报;2013年
2 张玉惠;EV——GLOBE成功应用于辽宁电网建设[N];中国测绘报;2010年
3 彭舒;遥感影像几何和光谱高精度重建技术获突破[N];中国测绘报;2013年
4 记者 吴晶晶;我用遥感影像发现3处油迹带[N];新华每日电讯;2014年
5 李禾;我首颗环境卫星传回遥感影像[N];科技日报;2008年
6 侯振荣;黑龙江省制作分市县遥感影像系列挂图[N];中国测绘报;2009年
7 王智宇王春;航空航天技术助力抗震救灾[N];科技日报;2008年
8 沈占锋;遥感影像信息提取与分析[N];计算机世界;2006年
9 张超;让北京发展一目了然[N];科技日报;2005年
10 李沛功 胡兵 秦海林 驻站记者严德勇;6年送学培养值不值?[N];战士报;2010年
中国博士学位论文全文数据库 前10条
1 张丽;遥感影像协同处理体系及摄影测量应用研究[D];解放军信息工程大学;2015年
2 高永刚;多尺度多平台遥感影像在城市遥感中的应用研究[D];福州大学;2013年
3 夏辉宇;基于MapReduce的遥感影像并行处理关键问题研究[D];武汉大学;2014年
4 熊礼治;云环境下遥感影像内容安全研究[D];武汉大学;2016年
5 王贤敏;机密空间信息隐藏与遥感影像授权使用[D];武汉大学;2005年
6 刘亚岚;遥感影像群判读技术的试验研究[D];中国科学院研究生院(遥感应用研究所);2004年
7 程起敏;基于内容的遥感影像库检索关键技术研究[D];中国科学院研究生院(遥感应用研究所);2004年
8 任娜;遥感影像数字水印算法研究[D];南京师范大学;2011年
9 邓冰;遥感影像信息度量方法研究[D];武汉大学;2009年
10 柳稼航;基于视觉特征的高分辨率光学遥感影像目标识别与提取技术研究[D];上海交通大学;2011年
中国硕士学位论文全文数据库 前10条
1 孙晨阳;多尺度遥感影像道路信息提取方法研究[D];西南大学;2015年
2 邓董建;基于稀疏表达的遥感影像的多时相融合[D];中国地质大学(北京);2015年
3 于晓;TM/ETM+遥感影像蚀变异常提取与筛选系统开发[D];中国地质大学(北京);2015年
4 刘佳岐;基于Landsat8遥感影像的扶风县苹果园地信息提取研究[D];西北农林科技大学;2015年
5 张健;基于多源数据的遥感地质构造解译[D];长安大学;2015年
6 王金杰;基于语义的遥感影像数据检索关键技术研究[D];国防科学技术大学;2013年
7 李程;基于复杂网络的绿潮检测方法研究与应用[D];青岛大学;2015年
8 章琨;基于遥感影像的城市绿地提取技术研究[D];东华理工大学;2014年
9 段胜强;基于遥感影像的运动目标追踪标注的研究及应用[D];河南大学;2015年
10 吴晓东;遥感影像航行方位物提取技术研究[D];解放军信息工程大学;2015年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026