收藏本站
《成都理工大学》 2014年
收藏 | 手机打开
二维码
手机客户端打开本文

面向海量遥感数据的分布式混合计算技术研究

程付超  
【摘要】:遥感数据是地球信息科学及其相关领域科学研究和生产工作中最重要的基础性资源,其应用已覆盖了地球信息科学相关的各个领域。基于遥感数据(特别是高分辨率遥感影像数据)的信息提取,是遥感数据的主要应用方式,是智能城市、环境监测、地质灾害预警、土地利用监测、植被监测、水体和海洋遥感、农业遥感和大气研究等行业进行科研和生产工作的常用技术手段。而如何对遥感数据进行有效的组织、管理、处理、计算与分析,是进行遥感数据信息提取的前提。随着3S技术和信息技术的不断发展,多源、多时空分辨率的遥感数据呈现出海量化趋势,累计数据量往往达到TB甚至PB级。以嫦娥二号月球影像数据为例,原始条带影像的数据量已达到3TB,处理完成后的产品数据也高达800GB,这样庞大的数据量,已远远超出一般图形工作站的处理能力,对遥感数据的存储、管理和计算都提出了新的要求。以发生于2014年3月初发生的马来西亚航空公司MH370客机失联事件为例,虽然号称动用了十颗卫星进行搜救,但却收效甚微,其根本原因就在于海量遥感数据计算的困难性,从卫星获取的遥感数据首先要经过一系列校正处理才能投入使用,要在海域遥感数据中找到飞机影像信息还需要进行精度要求较高的特征提取与识别,在数据分辨率高、数据量大、时间仓促的情况下,现有技术无法及时有效的完成上述数据处理、提取与识别工作,导致虽然调用了大量资源却无法达到预期目的的局面出现。 本文在课题组前期研究成果“面向数据的架构”基础上,针对遥感数据计算特点,分别对遥感数据的分布式计算理论、关键技术等进行了深入研究,主要研究工作包括: (1)基础设施与数据资源的统一描述方法研究。深入分析了计算机信息系统及其构建方法的发展历程,并对大数据相关理论和技术进行了总结;在此基础上,提出“广义数据”的概念,并通过数学方法对其进行了定义和描述;按照“广义数据”的具体内容,参考林奈分类法,设计了一种“广义数据”的分类体系,并按照该体系对广义数据类别进行了初步划分;设计了一种组合编码的“广义数据”编码方法,并在此基础上设计了基于元数据的“广义数据”数学描述方法,实现对系统中基础设施和数据资源的统一描述。 (2)海量遥感数据的分布式计算方法研究。分别对遥感数据的组织模型和分布式计算模型进行了研究。建立了一种多层影像按需剖分的遥感数据组织模型——弹性影像金字塔模型,该模型将遥感数据划分为多个影像区块(Region),对该模型的构建算法进行了详细阐述;设计了一种基于元数据的影像区块存储方法,并建立了一种通过影像区块ID对其进行封装的方法。对遥感数据分布式计算的需求进行了分析,并对其计算流程进行了划分,并定义了一种公式表示法,对遥感数据分布式计算模型进行了描述。针对遥感数据分布式计算中的冗余结果问题,分别采用了空间密度聚类算法和基于小波变换的影像融合算法对矢量结果数据和栅格结果数据进行处理。 (3)面向“广义数据”的系统构建技术研究。通过“广义数据”概念对大数据系统构建进行了化简,设计了一种面向“广义数据”的DOA架构,并着重对其中的分布式数据注册中心关键技术进行了研究。设计了一种分布式的内存数据集——运行备份数据集,对其组成结构、操作方式和工作状态进行了详细设计,在此基础上,设计了一种适用于分布式元数据管理的自适应主从模型,该模型采用一种仿效Paxos的两阶段选举算法SimpleElect实现了对主节点的自动选举;通过性能仿真对该模型的基本性能、可用性、容错性和扩展性进行了分析。综合运用上述技术,本文还设计了一种扁平化的数据注册中心架构,并对其工作机制进行了分析。 (4)遥感数据分布式混合计算框架研究。综合运用前述研究的各项理论和技术成果,对Chaos计算框架的总体架构和各层实现进行了设计,并将其应用到嫦娥二号月球遥感影像数据的处理和计算中,作为实例展示。 本文取得的主要创新点包括: (1)提出了一种面向海量遥感数据的分布式混合计算方法模型。在深入研究批处理计算、流式计算、迭代计算等分布式计算模型的基础上,提出了遥感数据分布式计算的划分方法,将分布式计算过程分为遥感数据分割(Split)、分布式处理(Process)和结果数据归并(Reduce)三个流程,并通过对这三个流程的组合调用实现不同的遥感数据计算模式。同时,还设计了一种遥感数据的组织管理模型——弹性影像金字塔模型,以解决分布式计算过程中的数据组织管理问题。 (2)提出了一种分布式数据注册中心的构架方法。分析了单点式数据注册中心的架构及其存在的问题,以目前大数据系统中元数据管理模型和技术为基础,提出一种分布式的内存抽象——运行-备份数据集,并在此基础上设计了一种分布式元数据管理模型——自适应主从模型。最后,综合上述研究成果,设计并实现了一种扁平化的分布式数据注册中心架构,实现高效的分布式元数据管理。 (3)提出了一种信息系统中基础设施与数据资源的统一描述方法。围绕“以数据为核心”的理念,以实现“面向数据”为目标,将系统中基础设施和数据资源都囊括到“广义数据”的概念中,并对其分类体系和描述方法展开研究,建立了一套通过“广义数据”对分布式计算集群中基础设施和数据资源进行统一描述的方法体系;并将这种方法与“面向数据的体系架构(DOA)”结合起来,建立了面向“广义数据”的系统构建方法。
【学位授予单位】:成都理工大学
【学位级别】:博士
【学位授予年份】:2014
【分类号】:P237

【参考文献】
中国期刊全文数据库 前10条
1 徐锡珍;苗放;;LBS在数字景区中的应用设计[J];成都大学学报(自然科学版);2011年02期
2 姜勇,刘广文,赵丹培,冯涛;基于FPGA的图像增强以及滤波技术[J];长春理工大学学报;2002年04期
3 童晓冲;贲进;张永生;;全球多分辨率数据模型的构建与快速显示[J];测绘科学;2006年01期
4 吕雪锋;程承旗;关丽;;球面剖分模型的架构与编码分析[J];测绘科学;2011年03期
5 李权国;苗放;;数字流域体系构建及关键技术探讨[J];测绘科学;2011年06期
6 赵学胜,陈军,王金庄;基于O-QTM的球面VORONOI图的生成算法[J];测绘学报;2002年02期
7 肖汉;张祖勋;;基于GPGPU的并行影像匹配算法[J];测绘学报;2010年01期
8 程承旗;关丽;;基于地图分幅拓展的全球剖分模型及其地址编码研究[J];测绘学报;2010年03期
9 邹贤才;李建成;汪海洪;徐新禹;;OpenMP并行计算在卫星重力数据处理中的应用[J];测绘学报;2010年06期
10 饶玫瑰;苗放;叶成名;董智慧;;6S模型在成都平原气溶胶光学厚度反演中的应用研究[J];长江大学学报(自然科学版);2011年08期
中国博士学位论文全文数据库 前1条
1 康俊锋;云计算环境下高分辨率遥感影像存储与高效管理技术研究[D];浙江大学;2011年
【共引文献】
中国期刊全文数据库 前10条
1 蔡薇;郭洪海;隋学艳;杨丽萍;;基于混合像元分解提取小麦种植面积的技术与方法研究[J];山东农业科学;2009年05期
2 纪启国;;利用小波变换对图像进行像素级融合[J];安徽职业技术学院学报;2008年01期
3 戴晓琴;;浅谈遥感技术在土地利用中的应用[J];安徽农学通报;2008年23期
4 陈会明;;浅谈遥感技术在农业生产中的应用[J];安徽农学通报(上半月刊);2009年19期
5 陈会明;;浅析遥感技术在我国土地利用调查中的应用[J];安徽农学通报(上半月刊);2009年21期
6 张莉娜;;土壤表层有机质空间分析的遥感技术应用综述[J];安徽农学通报(上半月刊);2010年17期
7 邢炜光;;遥感蒸散估算研究进展[J];安徽农学通报(上半月刊);2012年11期
8 黄树春;李书;薛重生;;基于Quick Bird影像的城市绿地景观信息提取研究[J];安徽农业科学;2007年02期
9 申海建;郭荣中;江艺明;黎雄5;;基于RS和GIS的土地利用变化对生态系统服务价值的影响——以北京市为例[J];安徽农业科学;2008年11期
10 李京忠;殷学勇;蔡清华;王洪明;;基于TM影像的地表温度遥感反演研究——以兰州市区为例[J];安徽农业科学;2008年18期
中国重要会议论文全文数据库 前10条
1 饶欢;张智勇;;一种基于ENVI的区域环境分析方法[A];河南地球科学通报2008年卷(下册)[C];2008年
2 许军强;白朝军;孙珂;王明常;;基于TES算法的地表温度反演应用研究[A];河南地球科学通报2009年卷(上册)[C];2009年
3 黄丽虹;王龙波;;基于环境卫星的北部湾地区遥感影像制作及影像入库应用研究[A];全国测绘科技信息网中南分网第二十五次学术交流会论文集[C];2011年
4 王继;王训霞;;利用Landsat5 TM6数据进行城市热岛效应分析[A];江苏省测绘学会2011年学术年会论文集[C];2011年
5 ;A New Criterion on Wavelet Coefficient-based Fusion[A];第二十九届中国控制会议论文集[C];2010年
6 郭朝辉;龚亚丽;;利用环境减灾卫星进行干旱灾害监测研究[A];全国旱情监测技术与抗旱减灾措施论文集[C];2009年
7 傅新;刘高焕;黄翀;刘庆生;;人工堤坝影响下的黄河三角洲海岸带生态特征分析[A];全国地质制图与GIS学术论坛论文集[C];2011年
8 马振猛;杨远超;;遥感技术在城市扩展监测中的应用[A];转型与重构——2011中国城市规划年会论文集[C];2011年
9 邓书斌;秦禹;;ENVI/IDL在农业遥感中的技术框架研究[A];全国农业遥感技术研讨会论文集[C];2009年
10 郭朝辉;亓雪勇;龚亚丽;;环境减灾卫星监测森林火灾应用研究[A];全国农业遥感技术研讨会论文集[C];2009年
中国博士学位论文全文数据库 前10条
1 周兴东;徐州市城区景观格局时空变化遥感监测与分析[D];山东科技大学;2010年
2 汤春瑞;水下目标声图像多分辨率分析及识别研究[D];哈尔滨工程大学;2009年
3 林颖;基于水平集方法的图像分割关键技术研究[D];哈尔滨工程大学;2010年
4 陈韶斌;基于知识推理和视觉机理的遥感图像目标识别方法研究[D];华中科技大学;2010年
5 陈雁;可见光遥感图像分割与提取研究[D];中国科学技术大学;2010年
6 陈春雷;多尺度林业遥感数据融合技术的应用研究[D];北京林业大学;2011年
7 郑光辉;江苏部分地区土壤属性高光谱定量估算研究[D];南京大学;2011年
8 丁晓东;农田养分流失风险评价及养分平衡管理研究[D];浙江大学;2010年
9 邓睿;多源遥感数据和GIS支持下的台风影响研究[D];浙江大学;2010年
10 曾和平;金沙江支流龙川江流域河流输沙特征及其对气候和地表覆被变化的响应[D];昆明理工大学;2009年
中国硕士学位论文全文数据库 前10条
1 李硕;基于Vis/NIR光谱不同粒径下土壤碳氮的预测研究[D];华中农业大学;2010年
2 韩筱婕;基于城市热岛减缓的湖泊湿地景观功能连通性研究[D];华中农业大学;2010年
3 梁鹏帅;基于OpenGL的三维可视地理信息系统初步设计[D];河南理工大学;2010年
4 胡红;矿区植物胁迫作用与遥感信息提取[D];山东科技大学;2010年
5 张宗营;SAR影像配准方法研究[D];山东科技大学;2010年
6 张京钊;基于LUCC与RS/GIS的济南市生态安全评价[D];山东科技大学;2010年
7 邢著荣;基于辐射传输模型和CHRIS数据反演春小麦LAI[D];山东科技大学;2010年
8 唐红梅;基于辐射与空间信息的遥感图像检索[D];山东科技大学;2010年
9 李新芝;基于多源遥感数据的矿区植被信息监测方法研究[D];山东科技大学;2010年
10 周建辉;基于3S技术的土地开发整理规划研究[D];广西师范学院;2010年
【二级参考文献】
中国期刊全文数据库 前10条
1 程承旗;宋树华;;全球空间信息GeoDNA编码模型及应用方法初探[J];北京大学学报(自然科学版)网络版(预印本);2009年01期
2 张立朝;潘贞;王珂珂;王富强;王青山;;面向服务的地理信息系统架构研究[J];北京测绘;2008年03期
3 陈爱军,李琦,徐光祐;Geo ML——基于XML的地理空间信息共享与互操作语言[J];北京大学学报(自然科学版);2002年04期
4 程承旗;吕雪锋;关丽;;空间数据剖分集群存储系统架构初探[J];北京大学学报(自然科学版);2011年01期
5 陈天华;;图像检索技术研究与发展[J];北京工商大学学报(自然科学版);2008年06期
6 李红英;王耀南;;基于VC的INSAR原始数据读取与处理成像[J];测绘工程;2006年01期
7 陈述彭,周成虎,陈秋晓;格网地图的新一代[J];测绘科学;2004年04期
8 吕志平,赵冬青,徐爱民,石善斌;位置服务系统(LBS)的构建[J];测绘科学;2005年02期
9 杨靖宇;张永生;于美娇;纪松;;基于小波变换多分辨率分析特性的遥感影像动态重构的金字塔模型[J];测绘科学;2007年05期
10 王玉海;崔铁军;郭黎;陈应东;;地理信息服务系统结构体系的研究[J];测绘科学;2007年06期
中国博士学位论文全文数据库 前10条
1 康俊锋;云计算环境下高分辨率遥感影像存储与高效管理技术研究[D];浙江大学;2011年
2 肖汉;基于CPU+GPU的影像匹配高效能异构并行计算研究[D];武汉大学;2011年
3 邓雪清;栅格型空间数据服务体系结构与算法研究[D];中国人民解放军信息工程大学;2003年
4 宋江洪;遥感图像处理软件中的关键技术研究[D];中国科学院研究生院(遥感应用研究所);2005年
5 杜莹;全球多分辨率虚拟地形环境关键技术的研究[D];中国人民解放军信息工程大学;2005年
6 冯国峰;波动方程反问题的多尺度—信赖域反演方法[D];哈尔滨工业大学;2006年
7 孙宏元;基于HPC的多分辨空间信息应用基础平台关键技术研究[D];西安电子科技大学;2006年
8 赵振;一种自适应海量存储系统组织策略及关键技术研究[D];华中科技大学;2006年
9 赵春宇;高性能并行GIS中矢量空间数据存取与处理关键技术研究[D];武汉大学;2006年
10 陈志荣;移动空间信息网格服务模型研究及实现方法[D];浙江大学;2008年
中国硕士学位论文全文数据库 前10条
1 霍树民;基于Hadoop的海量影像数据管理关键技术研究[D];国防科学技术大学;2010年
2 李文亮;GPU集群调度管理系统关键技术的研究[D];华中科技大学;2011年
3 贲进;空间地理信息网络三维发布技术研究[D];中国人民解放军信息工程大学;2002年
4 张曼祺;基于线特征的多源遥感影像配准研究[D];河海大学;2006年
5 唐杰;利用MODIS资料反演兰州地区不同季节AOD的研究[D];兰州大学;2006年
6 丁卫嘉;基于ORACLE GeoRaster的遥感影像库技术研究[D];中国科学院研究生院(遥感应用研究所);2006年
7 董海良;基于Globus Toolkit 4.0的空间信息服务的实现[D];电子科技大学;2007年
8 宋爽;基于地理信息Web服务的海量遥感影像分布式处理与发布[D];解放军信息工程大学;2007年
9 黄于鉴;数字地球平台空间数据服务的研究与应用[D];成都理工大学;2008年
10 毕晓佳;高光谱遥感岩矿填图应用研究[D];成都理工大学;2009年
【相似文献】
中国期刊全文数据库 前10条
1 ;遥感数据聚集于蓄水池应急平台[J];卫星与网络;2013年04期
2 翟永,宋雪生;遥感数据成果的分级存储管理[J];北京测绘;2005年02期
3 陈冬花;李虎;;中巴地球资源卫星遥感数据应用开发技术研究概述[J];亚热带资源与环境学报;2006年04期
4 Xin Zhuang ,Bernard A Eernard A Engel ,XiaopingXiong ,Chris J Johannsen ,李五夫;遥感数据分类结果分析及分类算法评价[J];黑龙江测绘;1995年04期
5 胡圣武,许辉,喻铮铮,潘正风;遥感数据的模糊不确定性及处理方法的探讨[J];地矿测绘;2004年02期
6 胡圣武,许辉,喻铮铮,潘正风;论遥感数据的模糊不确定性[J];矿山测量;2004年04期
7 孙富春;;遥感数据共享系统在防洪抗旱中的应用[J];黑龙江水利科技;2013年05期
8 ;多种遥感数据综合分析的五个专题在北京通过验收和成果鉴定[J];遥感技术与应用;1991年01期
9 王栋;郑逢斌;赖积保;余涛;李家国;郭珊;;基于五层十五级遥感数据结构的并行算法研究[J];微计算机信息;2012年01期
10 刘其真;徐建华;何永保;;利用探空遥感数据生成气象要素分布场[J];遥感技术动态;1990年02期
中国重要会议论文全文数据库 前10条
1 任娜;朱长青;;一种抗拼接的瓦片遥感数据水印算法[A];第四届“测绘科学前沿技术论坛”论文精选[C];2012年
2 黄二辉;潘德炉;杨燕明;;海洋遥感数据的时空分布经验正交分析方法研究[A];第十五届全国遥感技术学术交流会论文摘要集[C];2005年
3 徐国富;邓正栋;于德浩;;基于遥感数据的民用渡口选址模型及实例分析[A];国家安全地球物理丛书(八)——遥感地球物理与国家安全[C];2012年
4 谭福强;董双发;;遥感数据的尺度效应与遥感应用[A];第十四届全国遥感技术学术交流会论文摘要集[C];2003年
5 翟永;宋雪生;;遥感数据成果的分级存储管理[A];第十五届全国遥感技术学术交流会论文摘要集[C];2005年
6 李幸丽;杜培军;;面向数字城市的遥感数据挖掘及其应用[A];第十五届全国遥感技术学术交流会论文摘要集[C];2005年
7 张伟;;高空间分辨率遥感数据的预处理方法——以泉州快鸟数据为例[A];2007年福建省土地学会年会征文集[C];2007年
8 谢锋;潘明忠;亓洪兴;徐卫明;张雷;舒嵘;戴宁;薛永祺;;支持农业遥感数据产品开发与验证的相关技术进展[A];全国农业遥感技术研讨会论文集[C];2009年
9 钟志勇;陈映鹰;;海量遥感数据应用方法初探[A];第十四届全国遥感技术学术交流会论文摘要集[C];2003年
10 潘强;孙建中;倪丽萍;张杰;;上海城市遥感数据平台的构建及其在城市信息化进程中的作用[A];第十四届全国遥感技术学术交流会论文摘要集[C];2003年
中国重要报纸全文数据库 前10条
1 陈城;遥感数据把脉京城未来规划[N];建筑时报;2009年
2 本报记者 操秀英 陈磊;应急“蓄水池”:遥感数据在这里汇聚[N];科技日报;2013年
3 王彤琪;黄河凌情遥感数据更丰富 应用更便捷[N];黄河报;2009年
4 记者 李大庆;我国遥感数据信息利用率不足5%[N];科技日报;2011年
5 记者 李安利;测绘系统遥感数据服务体系日臻完善[N];中国测绘报;2003年
6 杨平;遥感数据有了处理新工具[N];科技日报;2003年
7 李红梅;南亚:使用遥感数据监测旱情[N];中国水利报;2012年
8 庞剑波 郑雄伟;三峡库区首获航空遥感数据[N];地质勘查导报;2009年
9 吕世充 蔚晓涵;武汉珈和遥感数据中心平台服务农业[N];中国测绘报;2014年
10 ;拓宽服务领域 提供高质量遥感数据[N];中国测绘报;2002年
中国博士学位论文全文数据库 前6条
1 程付超;面向海量遥感数据的分布式混合计算技术研究[D];成都理工大学;2014年
2 马超飞;基于关联规则的遥感数据挖掘与应用[D];中国科学院研究生院(遥感应用研究所);2002年
3 周松涛;海量遥感数据的高性能处理及可视化应用研究[D];武汉大学;2013年
4 常歌;基于遥感数据的城市景观建模技术研究与实践[D];解放军信息工程大学;2001年
5 哈斯巴干;神经网络及其组合算法的遥感数据分类研究[D];中国科学院研究生院(遥感应用研究所);2003年
6 穆超;基于多种遥感数据的电力线走廊特征物提取方法研究[D];武汉大学;2010年
中国硕士学位论文全文数据库 前10条
1 张哲;基于海量遥感数据的集群并行处理技术研究与应用[D];河南大学;2012年
2 方聪;基于对等架构的海量遥感数据分发系统的设计与实现[D];浙江大学;2013年
3 史园莉;遥感数据集群处理系统架构设计与实现[D];中国测绘科学研究院;2010年
4 王舒境;网络环境下的海量地学遥感数据高效存储与发布[D];浙江大学;2006年
5 朱娟娟;基于多源影像的多角度遥感数据平台的设计与开发[D];电子科技大学;2008年
6 杨梦茹;基于计算存储一体化策略的遥感数据高性能计算研究及应用[D];河南大学;2014年
7 陈超;遥感数据融合智能化处理方法研究[D];山东科技大学;2009年
8 王娜;海洋遥感数据速报系统设计与实现[D];浙江大学;2006年
9 曹广生;基于Web服务的遥感数据共享与服务动态管理技术研究[D];山东科技大学;2009年
10 徐勇;移动终端下环境星遥感数据共享机制的研究与应用[D];河南大学;2014年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026