收藏本站
《河南大学》 2012年
收藏 | 手机打开
二维码
手机客户端打开本文

基于海量遥感数据的集群并行处理技术研究与应用

张哲  
【摘要】:最近几年来,遥感领域技术发展迅速。在对地观测领域的高分辨率遥感卫星不断升空,越来越多的多光谱、高光谱、微波、热红外等传感器技术更新换代,通过遥感技术获取的遥感影像数据量急剧膨胀。与此同时,遥感应用行业对于影像数据的处理速度和处理精度都有了更高的要求,“处理难”成为日益突出的问题。为了提高在遥感数据处理阶段的速度和产品精度,解决环境监测、灾害预警、应急响应等在实时或者近实时的遥感应用需求,本文采用基于集群的并行计算技术,结合遥感数据处理过程中的特点,设计并实现了一种基于海量遥感数据的业务化集群处理系统。 本文的主要工作和贡献如下: 1.研究基于遥感数据特点的并行计算架构。通过分析遥感数据在处理过程中的特点,发掘遥感数据处理过程中的并发性,结合计算机集群技术,研究设计高性能遥感数据集群计算架构。在该架构中提出基于任务、数据、算法的多级并行计算结构,实现基于遥感数据特点的计算架构设计。 2.基于遥感算法研究提出遥感原子算法的概念,通过对遥感算法的深入分析,探讨遥感算法在处理过程中并行的可能性,提出将原有遥感产品算法分解,进行遥感算法函数级的封装,定义为遥感原子算法,制定了原子算法封装的规范,定义了标准的原子算法接口,在原子算法的基础上实现了流程化产品生产定制。 3.设计了遥感数据并行处理系统的系统架构,在分析研究了遥感数据处理过程以后,设计实现了各模块的功能,完成了生产业务流程的设计,原子算法的引入,大大提高了计算能力。本平台的设计完成,解决了遥感产品快速生产的问题,能够改善海量遥感数据在高性能计算过程中的计算能力不足,并大幅度提高了数据处理效率。
【学位授予单位】:河南大学
【学位级别】:硕士
【学位授予年份】:2012
【分类号】:TP79;TP274

【引证文献】
中国博士学位论文全文数据库 前1条
1 罗耀华;高性能计算在高光谱遥感数据处理中的应用研究[D];成都理工大学;2013年
中国硕士学位论文全文数据库 前2条
1 孙建超;遥感产品生产可视化定制研究[D];河南大学;2013年
2 宋丽君;基于网格的遥感产品生产服务研究与设计[D];河南大学;2013年
【参考文献】
中国期刊全文数据库 前10条
1 熊安萍;王化晶;瞿中;;基于面向服务体系结构的遗留系统集成方法研究[J];计算机科学;2008年04期
2 季一木;陆莉莉;王汝传;宗平;;基于SOA的校园遗产系统集成模型研究[J];计算机科学;2009年09期
3 房洪臣;冷文浩;吴建波;;基于SOA的企业IT架构[J];计算机工程;2008年23期
4 邓维;周竹荣;陆琳睿;;光线追踪的kd-tree构造[J];计算机工程;2009年05期
5 李广水;郑滔;宋丁全;;基于分布式服务模型的遥感影像数据挖掘系统[J];计算机工程;2009年23期
6 胡海涛,李刚,韩燕波;一种面向业务用户的大粒度服务组合方法[J];计算机学报;2005年04期
7 白雪;肖宝弟;王建英;;基于面向服务架构的调度命令系统模型开发研究[J];计算机应用;2009年S2期
8 杨艳,唐胜群,张文涛;XML Web服务技术探讨[J];计算机应用研究;2002年10期
9 叶钰,应时,李伟斋,张韬;面向服务体系结构及其系统构建研究[J];计算机应用研究;2005年02期
10 岳昆,王晓玲,周傲英;Web服务核心支撑技术:研究综述[J];软件学报;2004年03期
中国博士学位论文全文数据库 前1条
1 蒋艳凰;遥感图像高精度并行监督分类技术研究[D];国防科学技术大学;2004年
【共引文献】
中国期刊全文数据库 前10条
1 高志升,刘兴伟;基于语义P2P的Web服务模型[J];阿坝师范高等专科学校学报;2005年03期
2 杨帆;;浅析GIS的发展现状与未来发展趋势[J];安徽农学通报;2007年23期
3 戴晓琴;;浅谈遥感技术在土地利用中的应用[J];安徽农学通报;2008年23期
4 陈会明;;浅谈遥感技术在农业生产中的应用[J];安徽农学通报(上半月刊);2009年19期
5 陈会明;;“3S”技术在土地利用调查中的应用[J];安徽农学通报(上半月刊);2009年21期
6 陈会明;;浅析遥感技术在我国土地利用调查中的应用[J];安徽农学通报(上半月刊);2009年21期
7 王红艳;朱全银;丁甜甜;;通信终端与农村科技服务平台的Web服务数据同步设计[J];安徽农业科学;2012年01期
8 邱冬生,庄大方,黄小虎,王勇;特种设备安全监察地理信息系统设计[J];安全与环境学报;2005年02期
9 方芳;叶春明;;基于Qos的语义Web服务发现研究[J];安庆师范学院学报(自然科学版);2010年02期
10 侯贵法;罗颖;;基于SOA的数字气田应用集成[J];安阳工学院学报;2007年04期
中国重要会议论文全文数据库 前10条
1 孙卫红;冯毅雄;林东宇;;基于过程挖掘的业务审批流程重组研究[A];第二十九届中国控制会议论文集[C];2010年
2 陶冶;刘建勋;唐明董;;基于Map/Reduce的分布式Web服务搜索引擎设计与实现[A];CCF NCSC 2011——第二届中国计算机学会服务计算学术会议论文集[C];2011年
3 党德鹏;徐俏;徐娟;;基于替代的Web服务事务提交协议及其性能分析[A];CCF NCSC 2011——第二届中国计算机学会服务计算学术会议论文集[C];2011年
4 段成民;叶劲松;崔应寿;黄海涛;;基于SOA的公路基础信息共享平台框架研究[A];现代测量技术与地理信息系统科技创新及产业发展研讨会论文集[C];2009年
5 陈彦萍;李增智;夏虹;朱海萍;;服务质量驱动的Web服务组合框架的设计与实现[A];2006年全国通信软件学术会议论文集[C];2006年
6 宋拥军;李玉琳;冯学智;张慧;钟全宝;;LOD技术在省级工商经济户口地理信息系统中应用[A];中国测绘学会2006年学术年会论文集[C];2006年
7 朱继文;;基于立体影像匹配数据构建DEM方法研究[A];中国测绘学会九届四次理事会暨2008年学术年会论文集[C];2008年
8 李红兵;喻威;李纪东;杨有才;徐岩;宁林春;;Global Mapper参与测绘数据的管理和分析[A];第二十一届海洋测绘综合性学术研讨会论文集[C];2009年
9 李军;滕惠忠;李海滨;叶秋果;辛宪会;;海岸带卫星影像的特点及处理方法[A];第二十一届海洋测绘综合性学术研讨会论文集[C];2009年
10 李德仁;;地球空间信息学的机遇[A];中国地理信息系统协会第八届年会论文集[C];2004年
中国博士学位论文全文数据库 前10条
1 宁安良;面向3G终端的移动地理信息服务研究[D];中国海洋大学;2010年
2 朱里越;多业务协同系统服务组合技术研究[D];中国科学技术大学;2010年
3 陈春雷;多尺度林业遥感数据融合技术的应用研究[D];北京林业大学;2011年
4 高瞻;网格任务调度中服务质量保证相关问题研究[D];北京交通大学;2010年
5 尹可挺;Internet环境中基于QoS的Web服务组合研究[D];浙江大学;2010年
6 邝砾;基于接口和行为语义的Web服务发现与适配研究[D];浙江大学;2009年
7 李爱民;基于遥感影像的城市建成区扩张与用地规模研究[D];解放军信息工程大学;2009年
8 王强;空间信息服务聚合的关键技术研究[D];解放军信息工程大学;2010年
9 付晓东;Web服务组合服务质量保障关键问题研究[D];昆明理工大学;2008年
10 吴斌;企业服务总线中动态服务路由技术的研究[D];山东大学;2010年
中国硕士学位论文全文数据库 前10条
1 吕媛媛;基于本体的物流信息集成系统的研究[D];山东科技大学;2010年
2 刘涛;遥感图像分块分类技术的研究与应用[D];山东科技大学;2010年
3 聂剑锋;基于QoS的Web服务选择研究[D];浙江理工大学;2010年
4 梁永会;面向网格服务的SWAT模型集成体系研究[D];郑州大学;2010年
5 侯洪升;基于SPOT5高分辨率影像的城市新增建设用地监测研究[D];山东农业大学;2009年
6 盖小刚;沂蒙山区土地覆被与土壤侵蚀动态特征[D];山东农业大学;2010年
7 宋超臣;基于推荐网络的服务搜索技术研究[D];哈尔滨工程大学;2010年
8 李坤波;多光谱和全色遥感图像融合技术研究[D];哈尔滨工程大学;2010年
9 戴步成;基于ArcGIS Server的电子地图研究及应用[D];大连理工大学;2010年
10 李海永;面向电子政务地理信息共享服务的空间数据实体化方法[D];辽宁工程技术大学;2009年
【同被引文献】
中国期刊全文数据库 前10条
1 杨靖宇;张永生;于美娇;纪松;;基于小波变换多分辨率分析特性的遥感影像动态重构的金字塔模型[J];测绘科学;2007年05期
2 杨靖宇;张永生;董广军;;基于GPU的遥感影像SAM分类算法并行化研究[J];测绘科学;2010年03期
3 卢汉明;胡东平;李志勇;;高分辨率海量遥感影像的读取与处理[J];测绘技术装备;2010年03期
4 杨国鹏;余旭初;冯伍法;刘伟;陈伟;;高光谱遥感技术的发展与应用现状[J];测绘通报;2008年10期
5 张剑清;柯涛;孙明伟;段延松;;并行计算在航空摄影测量中的应用与实现——数字摄影测量网格(DPGrid)并行计算技术研究[J];测绘通报;2008年12期
6 李震,施建成;高光谱遥感积雪制图算法及验证[J];测绘学报;2001年01期
7 张海军;陈圣波;张旭晴;王亚楠;;基于GPU的遥感图像快速去噪处理[J];城市勘测;2010年02期
8 万元嵬;程承旗;宋树华;;大数据量遥感影像快速显示剖分组织方法研究[J];地理与地理信息科学;2009年03期
9 程承旗;张恩东;万元嵬;宋树华;;遥感影像剖分金字塔研究[J];地理与地理信息科学;2010年01期
10 王结臣;王豹;胡玮;张辉;;并行空间分析算法研究进展及评述[J];地理与地理信息科学;2011年06期
中国博士学位论文全文数据库 前4条
1 杨靖宇;摄影测量数据GPU并行处理若干关键技术研究[D];解放军信息工程大学;2011年
2 耿修瑞;高光谱遥感图像目标探测与分类技术研究[D];中国科学院研究生院(遥感应用研究所);2005年
3 杨哲海;高光谱影像分类若干关键技术的研究[D];解放军信息工程大学;2006年
4 白洪涛;基于GPU的高性能并行算法研究[D];吉林大学;2010年
中国硕士学位论文全文数据库 前10条
1 谭洪颂;基于GPU加速的真实感渲染系统研究与实现[D];大连理工大学;2010年
2 夏春芬;基于GPU高性能计算的人脸表情识别算法的研究[D];武汉理工大学;2011年
3 陈科;基于高性能计算机的并行计算研究[D];大连理工大学;2011年
4 霍树民;基于Hadoop的海量影像数据管理关键技术研究[D];国防科学技术大学;2010年
5 崔鑫;海量空间数据的分布式存储管理及并行处理技术研究[D];国防科学技术大学;2010年
6 黄訸;高性能计算体系结构下的海量数据处理分析与优化[D];国防科学技术大学;2011年
7 王瑞军;网格计算中任务调度算法的分析和研究[D];北京化工大学;2011年
8 刘聪;高性能计算机片上网络交换结构和性能的研究[D];北京邮电大学;2012年
9 王春霞;PC集群系统的并行开发环境MPI及其程序性能的分析研究[D];郑州大学;2003年
10 李俊亭;工作流建模的可视化工具研究与实现[D];西北工业大学;2003年
【二级引证文献】
中国博士学位论文全文数据库 前1条
1 杨典华;协作式大规模地理栅格数据并行处理方法研究[D];首都师范大学;2014年
【二级参考文献】
中国期刊全文数据库 前10条
1 术洪磊,毛赞猷;GIS辅助下的基于知识的遥感影像分类方法研究——以土地覆盖/土地利用类型为例[J];测绘学报;1997年04期
2 蒋艳凰,周海芳,杨学军;基于纠错编码的CSNN及其在遥感图像分类中的应用[J];计算机研究与发展;2003年07期
3 赵卓峰,韩燕波,喻坚,王建武;一种支持业务用户编程的服务虚拟化技术——VINCA聚合服务机制[J];计算机研究与发展;2004年12期
4 蒋艳凰,杨学军,易会战;PIWA-LOC——一种Cluster环境下的大图像并行重采样算法[J];计算机研究与发展;2005年05期
5 汪锦岭,金蓓弘,李京;一种高效的RDF图模式匹配算法[J];计算机研究与发展;2005年10期
6 蒋艳凰;周海芳;杨学军;;监督学习的发展动态[J];计算机科学;2003年07期
7 王嘉辉;陆以勤;利文乐;;基于CPN Tools的电信业务建模及其应用[J];计算机工程;2006年14期
8 李晓东;杨扬;郭文彩;;基于企业服务总线的数据共享与交换平台[J];计算机工程;2006年21期
9 简斌;左荣国;闫光荣;朱心雄;;基于SOA的中小制造企业应用集成系统研究[J];计算机工程;2007年05期
10 丁兆青;董传良;;基于SOA的分布式应用集成研究[J];计算机工程;2007年10期
【相似文献】
中国期刊全文数据库 前10条
1 童庆禧;;新世纪的遥感信息技术[J];群言;2000年01期
2 陈云浩;李晓兵;李京;史培军;;陆面日蒸发散量计算的两层阻抗遥感模型[J];武汉大学学报(信息科学版);2005年12期
3 吴炳方;邵建华;;遥感估算蒸腾蒸发量的时空尺度推演方法及应用[J];水利学报;2006年03期
4 宋杨;范湘涛;陆现彩;;利用多时相遥感影像与DEM数据的滑坡灾害调查——以新滩地区为例[J];安徽师范大学学报(自然科学版);2006年03期
5 王强;束炯;张晓沪;;一种遥感图像的坐标转换方法[J];测绘科学;2006年04期
6 孙久虎;刘晓萌;李佑钢;张洁;孟健;;北运河地区植被覆盖的遥感估算及变化分析[J];水土保持研究;2006年06期
7 王志辉;易善桢;;不同指数模型法在水体遥感提取中的比较研究[J];科学技术与工程;2007年04期
8 扶卿华;倪绍祥;王世新;周艺;;土壤盐分含量的遥感反演研究[J];农业工程学报;2007年01期
9 胡文英;角媛梅;;基于DEM的遥感数据复原方法研究[J];国土资源遥感;2007年01期
10 杨一鹏;王桥;肖青;;太湖富营养化遥感评价研究[J];地理与地理信息科学;2007年03期
中国重要会议论文全文数据库 前10条
1 沈焕锋;;面向定量反演的遥感数据预处理方法[A];遥感定量反演算法研讨会摘要集[C];2010年
2 赖震刚;;基于遥感的城市热岛与城市绿地分析[A];江苏省测绘学会2007'学术年会论文集[C];2008年
3 何红艳;郭志华;赵宪文;;遥感在森林地上生物量估算中的现状及展望[A];第十五届全国遥感技术学术交流会论文摘要集[C];2005年
4 孙永军;杨清华;晋佩东;;常用卫星遥感数据比例尺问题探讨[A];第十五届全国遥感技术学术交流会论文摘要集[C];2005年
5 姜丽黎;;对SPOT图像利用纹理方法提取山区居民地[A];第十五届全国遥感技术学术交流会论文摘要集[C];2005年
6 赖震刚;;基于遥感的城市热岛与城市绿地分析[A];江苏省测绘学会2007年学术年会论文集[C];2008年
7 黄妙芬;于五一;张一民;申晋利;;基于MERIS遥感数据水环境石油类污染监测模式[A];2007年中国水产学会学术年会暨水产微生态调控技术论坛论文摘要汇编[C];2007年
8 于凤鸣;包玉海;卓义;;BP神经网络在土地覆被分类中的应用研究[A];中国气象学会2007年年会生态气象业务建设与农业气象灾害预警分会场论文集[C];2007年
9 朱谷昌;;遥感技术与有色金属矿山接替资源勘查[A];新世纪 新机遇 新挑战——知识创新和高新技术产业发展(上册)[C];2001年
10 张定祥;刘莉;;国家土地资源调查监测技术体系建设设想[A];新技术在土地调查中的应用与土地科学技术发展-2005年中国土地学会学术年会论文集[C];2005年
中国重要报纸全文数据库 前10条
1 记者 李大庆;我国遥感数据信息利用率不足5%[N];科技日报;2011年
2 周英峰;中国遥感数据应用正在向产业化发展[N];中国贸易报;2009年
3 本报记者 钟振宇;飞越峡谷发回堰塞湖遥感数据[N];四川日报;2008年
4 陈城;遥感数据把脉京城未来规划[N];建筑时报;2009年
5 记者 李大庆;中科院对地观测中心玉树灾区遥感数据开放[N];科技日报;2010年
6 杨平;遥感数据有了处理新工具[N];科技日报;2003年
7 曹飒;防震减灾重点地区遥感数据库建成[N];光明日报;2006年
8 韩芳;利用遥感优越性监测湿地[N];中国水利报;2007年
9 本报记者 舒萍;卫星遥感技术应用 任重道远[N];四川科技报;2008年
10 记者 王勇;中科院三亚卫星接收站开建[N];海南日报;2009年
中国博士学位论文全文数据库 前10条
1 马超飞;基于关联规则的遥感数据挖掘与应用[D];中国科学院研究生院(遥感应用研究所);2002年
2 周松涛;海量遥感数据的高性能处理及可视化应用研究[D];武汉大学;2013年
3 张华;遥感数据可靠性分类方法研究[D];中国矿业大学;2012年
4 苗群;南四湖水环境质量评价研究[D];青岛大学;2008年
5 刘志国;长江口水体表层泥沙浓度的遥感反演与分析[D];华东师范大学;2007年
6 江绵康;“数字城市”的理论与实践[D];华东师范大学;2006年
7 张胜茂;基于正八面体球面离散格网模型的全球遥感影像浏览系统研究[D];华东师范大学;2009年
8 彭文甫;基于RS&GIS的城市土地利用变化及其生态环境效应研究[D];成都理工大学;2009年
9 刘正军;高维遥感数据土地覆盖特征提取与分类研究[D];中国科学院研究生院(遥感应用研究所);2003年
10 陈健;东亚飞蝗发生区芦苇LAI的遥感反演及其尺度效应研究[D];南京师范大学;2006年
中国硕士学位论文全文数据库 前10条
1 张哲;基于海量遥感数据的集群并行处理技术研究与应用[D];河南大学;2012年
2 陈芸芝;多源遥感数据在森林资源动态变化监测中的应用——以漳浦县为例[D];福州大学;2004年
3 肖靖;常熟市土地利用动态研究[D];成都理工大学;2006年
4 闫岩;基于定量遥感产品和作物生长模型同化的农作物长势监测与估产方法研究[D];中国科学院研究生院(遥感应用研究所);2006年
5 田建林;基于QuickBird影像的景观信息获取及景观格局研究[D];中南林业科技大学;2006年
6 申卫博;GIS及景观熵模型在沙化土地监测与评价中的应用研究[D];西北农林科技大学;2006年
7 王锋;关联规则挖掘及其在遥感数据处理中的应用研究[D];合肥工业大学;2007年
8 泮雪芹;遥感影像数据融合方法的比较和分析[D];河南大学;2005年
9 孟庆伟;青藏高原特大型湖泊遥感分析及其环境意义[D];中国地质科学院;2007年
10 李强;基于IDL遥感图像数据库的设计与实现[D];兰州大学;2008年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026