收藏本站
《中国测绘科学研究院》 2010年
收藏 | 手机打开
二维码
手机客户端打开本文

遥感数据集群处理系统架构设计与实现

史园莉  
【摘要】: 随着传感器、遥感平台、数据通信等相关技术的发展,通过遥感手段获得的数据量急剧膨胀,同时,空间应用需求对遥感数据处理的速度和精度提出新的要求。为了提高遥感数据处理的速度和精度,解决灾害监测、应急响应等实时或近实时遥感应用的需求,本文将高性能集群计算技术应用于遥感数据处理中,设计并实现了一种适用于海量遥感数据业务化、自动化、快速处理的集群处理系统。 本文的工作主要体现在以下几点: 1.基于已有集群系统,深入研究高性能遥感数据集群处理系统的体系结构。针对遥感数据处理系统的研发和应用过程,系统软件架构采用了基于分层结构的设计思想、基于面向对象的类库设计、基于独立构件的功能模块设计和基于中间件技术的网络通信。 2.基于遥感数据处理的过程和特点,探讨遥感数据并行处理的可行性与并行处理通用模型。根据并行算法设计,提出了基于产品驱动的任务分解策略、基于影像分块驱动的数据分解策略、基于影像处理链驱动的功能分解策略和基于聚合通信模式的算法分解策略。 3.基于开源集群作业调度管理系统Open PBS,分析总结集群系统作业调度策略。针对遥感数据集群处理系统的业务化运行,提出一种基于最优资源自动分配的调度策略;应用分层架构和面向服务的软件开发思想,采用ICE中间件的网络通信技术,通过XML格式的数据交换,实现C/S架构的高效、灵活的遥感数据处理集群作业调度管理系统。
【学位授予单位】:中国测绘科学研究院
【学位级别】:硕士
【学位授予年份】:2010
【分类号】:TP751;TP274.2

【引证文献】
中国期刊全文数据库 前2条
1 杨海平;沈占锋;骆剑承;吴炜;;海量遥感数据的高性能地学计算应用与发展分析[J];地球信息科学学报;2013年01期
2 贺广均;李虎;李家国;于涛;孟庆岩;王蕊;;生态环境遥感产品生产分系统架构设计与实现[J];微计算机信息;2012年09期
中国硕士学位论文全文数据库 前4条
1 陈晨;环境一号卫星影像高性能镶嵌技术研究[D];华中科技大学;2011年
2 郑月玲;遥感影像并行计算策略研究[D];辽宁工程技术大学;2011年
3 郑玉凤;环境一号卫星CCD影像云去除方法研究及并行化实现[D];辽宁工程技术大学;2011年
4 李巍巍;高分辨率遥感影像分水岭并行分割研究[D];辽宁工程技术大学;2012年
【参考文献】
中国期刊全文数据库 前10条
1 齐爱朋;;C/S、B/S体系架构研究[J];硅谷;2009年22期
2 叶庆华,梁毅,孟丹;一种简化的基于First-Fit的Backfilling调度策略——RB-FIFT[J];计算机工程与应用;2003年02期
3 蒋艳凰,杨学军,易会战;卫星遥感图像并行几何校正算法研究[J];计算机学报;2004年07期
4 郑明玲,刘衡竹;遥感图像配准中特征点选择的高性能算法研究及其实现[J];计算机学报;2004年09期
5 赵宗弟;胡凯;胡建平;;基于PBS的集群作业调度策略的设计与实现[J];计算机与数字工程;2006年11期
6 安兴华,王小鸽,都志辉,刘定生,李国庆;一种适用于机群系统的细粒度遥感图像镶嵌并行算法[J];清华大学学报(自然科学版);2002年10期
7 李军,李德仁;分布式遥感图像处理中的若干关键技术[J];武汉测绘科技大学学报;1999年01期
8 李德仁;论21世纪遥感与GIS的发展[J];武汉大学学报(信息科学版);2003年02期
9 尚尔凡,何川,都志辉;基于PBS的机群任务调度管理中间件的设计与实现[J];小型微型计算机系统;2004年06期
10 胡如忠 ,李志中 ,宋宏儒;WTO与中国航天遥感发展战略[J];中国航天;2002年07期
中国博士学位论文全文数据库 前3条
1 鱼滨;基于XML的集成中间件技术研究[D];西北大学;2003年
2 蒋艳凰;遥感图像高精度并行监督分类技术研究[D];国防科学技术大学;2004年
3 周海芳;遥感图像并行处理算法的研究与应用[D];国防科学技术大学;2003年
中国硕士学位论文全文数据库 前1条
1 安喜锋;高性能计算集群管理系统与作业调度技术研究与实现[D];西北工业大学;2005年
【共引文献】
中国期刊全文数据库 前10条
1 杨帆;;浅析GIS的发展现状与未来发展趋势[J];安徽农学通报;2007年23期
2 戴晓琴;;浅谈遥感技术在土地利用中的应用[J];安徽农学通报;2008年23期
3 陈会明;;浅谈遥感技术在农业生产中的应用[J];安徽农学通报(上半月刊);2009年19期
4 陈会明;;“3S”技术在土地利用调查中的应用[J];安徽农学通报(上半月刊);2009年21期
5 陈会明;;浅析遥感技术在我国土地利用调查中的应用[J];安徽农学通报(上半月刊);2009年21期
6 刘盛;刘庆忠;李国伟;;基于RS和DGPS的SPOT5图像几何精校正研究[J];安徽农业科学;2009年25期
7 罗杨;;基于ERDAS IMAGINE的图像投影方法探讨[J];安徽农业科学;2009年27期
8 张瑜;黄曦涛;;RS和GIS技术在地震灾害中的应用[J];安徽农业科学;2009年30期
9 张彦林;;t检验在遥感数据建模中的应用[J];安徽农业科学;2010年05期
10 黄昆;陈登胜;余国忠;;直方图均衡化在遥感图像彩色合成中的应用[J];安徽农业科学;2010年16期
中国重要会议论文全文数据库 前10条
1 黄丽虹;王龙波;;基于环境卫星的北部湾地区遥感影像制作及影像入库应用研究[A];全国测绘科技信息网中南分网第二十五次学术交流会论文集[C];2011年
2 王继;王训霞;;利用Landsat5 TM6数据进行城市热岛效应分析[A];江苏省测绘学会2011年学术年会论文集[C];2011年
3 葛宝珊;刘锋;李旭杰;;积木式多DSP并行处理系统路由算法研究[A];现代振动与噪声技术(第九卷)[C];2011年
4 马振猛;杨远超;;遥感技术在城市扩展监测中的应用[A];转型与重构——2011中国城市规划年会论文集[C];2011年
5 肖永浩;黄清南;;基于分块数据结构的冲击问题并行计算[A];中国计算力学大会'2010(CCCM2010)暨第八届南方计算力学学术会议(SCCM8)论文集[C];2010年
6 李根;李连崇;唐春安;唐世斌;王振;;岩石流固/热固作用下损伤演化并行分析系统及应用[A];中国计算力学大会'2010(CCCM2010)暨第八届南方计算力学学术会议(SCCM8)论文集[C];2010年
7 张亚林;吴锦龙;李于锋;赵晓平;;PANDA软件框架的应用模板研究[A];中国计算力学大会'2010(CCCM2010)暨第八届南方计算力学学术会议(SCCM8)论文集[C];2010年
8 陈刚;邓文胜;王丽亚;;基于TM影像的武汉市东湖风景区LUCC分析[A];全国国土资源与环境遥感应用技术研讨会论文集[C];2009年
9 陈刚;邓文胜;王丽亚;;遥感技术在城市湖泊演变研究中的应用[A];全国国土资源与环境遥感应用技术研讨会论文集[C];2009年
10 宋拥军;李玉琳;冯学智;张慧;钟全宝;;LOD技术在省级工商经济户口地理信息系统中应用[A];中国测绘学会2006年学术年会论文集[C];2006年
中国博士学位论文全文数据库 前10条
1 陆军;基于组合学的数据编码方法研究[D];哈尔滨工程大学;2010年
2 林颖;基于水平集方法的图像分割关键技术研究[D];哈尔滨工程大学;2010年
3 宁安良;面向3G终端的移动地理信息服务研究[D];中国海洋大学;2010年
4 张琦;多核系统中的程序性能优化研究[D];中国科学技术大学;2010年
5 陈春雷;多尺度林业遥感数据融合技术的应用研究[D];北京林业大学;2011年
6 李爱民;基于遥感影像的城市建成区扩张与用地规模研究[D];解放军信息工程大学;2009年
7 徐星欧;基于目标分解的全极化雷达数据估算生物量相关参数方法研究[D];武汉大学;2010年
8 王雷光;基于非模糊均值漂移的高空间分辨率遥感影像区域分割算法研究[D];武汉大学;2009年
9 岳昔娟;稀少(无)控制条件下机载SAR高精度定位技术研究[D];武汉大学;2009年
10 程汤培;地下水流动数值模拟的高效并行计算研究[D];中国地质大学(北京);2011年
中国硕士学位论文全文数据库 前10条
1 李硕;基于Vis/NIR光谱不同粒径下土壤碳氮的预测研究[D];华中农业大学;2010年
2 朱圣鑫;并行GPBiCG(m,l)算法与预处理技术[D];中国工程物理研究院;2010年
3 刘涛;遥感图像分块分类技术的研究与应用[D];山东科技大学;2010年
4 张宗营;SAR影像配准方法研究[D];山东科技大学;2010年
5 李秀芳;基于多核的多线程算法并行优化[D];郑州大学;2010年
6 侯洪升;基于SPOT5高分辨率影像的城市新增建设用地监测研究[D];山东农业大学;2009年
7 盖小刚;沂蒙山区土地覆被与土壤侵蚀动态特征[D];山东农业大学;2010年
8 景涛;多核环境下基于L2 Cache的目录一致性协议的研究[D];哈尔滨工程大学;2010年
9 宋晓玥;基于TDPCA与SPIHT的高光谱压缩和降维算法研究[D];哈尔滨工程大学;2009年
10 秦园;基于SPOT5的土地信息提取技术研究[D];大连理工大学;2010年
【同被引文献】
中国期刊全文数据库 前10条
1 谢华美,何启翱,郑宁,别荣芳;基于ERDAS二次开发的遥感图像同态滤波薄云去除算法的改进[J];北京师范大学学报(自然科学版);2005年02期
2 曹敏;史照良;;新一代海量影像自动处理系统“像素工厂”初探[J];测绘通报;2006年10期
3 张友水;冯学智;周成虎;;多时相TM影像相对辐射校正研究[J];测绘学报;2006年02期
4 肖汉;张祖勋;;基于GPGPU的并行影像匹配算法[J];测绘学报;2010年01期
5 邹贤才;李建成;汪海洪;徐新禹;;OpenMP并行计算在卫星重力数据处理中的应用[J];测绘学报;2010年06期
6 陈艳;郝丽蕊;;MPI集群通信技术浅析[J];电脑知识与技术;2008年23期
7 骆剑承;周成虎;沈占锋;杨晓梅;乔程;陈秋晓;明冬萍;;遥感信息图谱计算的理论方法研究[J];地球信息科学学报;2009年05期
8 陈帅;李刚;张颢;孟华东;王希勤;;SAR图像压缩采样恢复的GPU并行实现[J];电子与信息学报;2011年03期
9 何强,马颂德;图像镶嵌技术理论、难点及应用[J];高技术通讯;1998年03期
10 冯春,马建文,戴芹,陈雪;一种改进的遥感图像薄云快速去除方法[J];国土资源遥感;2004年04期
中国重要会议论文全文数据库 前1条
1 邵立勤;;对地观测关键技术最新进展及应用[A];2006中国科协年会论文集(第13分会场)[C];2006年
中国博士学位论文全文数据库 前5条
1 康俊锋;云计算环境下高分辨率遥感影像存储与高效管理技术研究[D];浙江大学;2011年
2 肖汉;基于CPU+GPU的影像匹配高效能异构并行计算研究[D];武汉大学;2011年
3 鱼滨;基于XML的集成中间件技术研究[D];西北大学;2003年
4 周海芳;遥感图像并行处理算法的研究与应用[D];国防科学技术大学;2003年
5 朱锡芳;光学图像去云雾方法研究[D];南京理工大学;2008年
中国硕士学位论文全文数据库 前10条
1 霍树民;基于Hadoop的海量影像数据管理关键技术研究[D];国防科学技术大学;2010年
2 李文亮;GPU集群调度管理系统关键技术的研究[D];华中科技大学;2011年
3 王惠;多源遥感影像在目标图集制作中的应用[D];解放军信息工程大学;2001年
4 王恒进;基于小波的遥感图像薄云去除的研究与实现[D];西北工业大学;2002年
5 樊厚春;遥感图像薄云去除研究[D];中国科学院研究生院(遥感应用研究所);2004年
6 蒋红成;多幅遥感图像自动裁剪镶嵌与色彩均衡研究[D];中国科学院研究生院(遥感应用研究所);2004年
7 谢仁龙;卫星遥感图像去薄云薄雾处理技术[D];南京理工大学;2004年
8 曹爽;高分辨率遥感影像去云方法研究[D];河海大学;2006年
9 李亚平;Quick bird影像除云方法及应用研究[D];成都理工大学;2009年
10 杨靖宇;遥感影像GPU并行化处理技术与实现方法[D];解放军信息工程大学;2008年
【二级引证文献】
中国期刊全文数据库 前2条
1 赵国辉;张耀南;何振芳;崔丹丹;;基于高性能计算平台的地学集成模拟分析环境研究[J];科研信息化技术与应用;2013年06期
2 崔丹丹;张耀南;赵国辉;;基于MPI和OpenCV遥感植被指数产品的并行计算[J];科研信息化技术与应用;2013年05期
【二级参考文献】
中国期刊全文数据库 前10条
1 熊兴华,钱曾波,王任享;遗传算法与最小二乘法相结合的遥感图像子像素匹配[J];测绘学报;2001年01期
2 术洪磊,毛赞猷;GIS辅助下的基于知识的遥感影像分类方法研究——以土地覆盖/土地利用类型为例[J];测绘学报;1997年04期
3 李英壮,李先毅,王利明,李新;基于Linux的集群管理系统设计与实现[J];大连理工大学学报;2003年S1期
4 和力,鱼滨,和燕;构建基于Windows DNA的分布式多层应用系统[J];电脑与信息技术;2002年02期
5 周海芳,蒋艳凰,杨学军;流域变换的串行与并行策略研究[J];国防科技大学学报;2002年06期
6 何强,马颂德;图像镶嵌技术理论、难点及应用[J];高技术通讯;1998年03期
7 田金文,苏康,柳健,张天序;航空影像的自动无缝镶嵌[J];华中理工大学学报;1998年11期
8 孟小峰;Web数据管理研究综述[J];计算机研究与发展;2001年04期
9 齐勇,赵季中,侯迪,沈钧毅,曾斌异;基于Web的中间件系统集成框架——应用服务器的研究[J];计算机研究与发展;2001年04期
10 阮彤,李京,冯东雷;基于Java的应用服务器的设计与实现[J];计算机研究与发展;2001年08期
【相似文献】
中国期刊全文数据库 前10条
1 陈云浩;李晓兵;李京;史培军;;陆面日蒸发散量计算的两层阻抗遥感模型[J];武汉大学学报(信息科学版);2005年12期
2 吴炳方;邵建华;;遥感估算蒸腾蒸发量的时空尺度推演方法及应用[J];水利学报;2006年03期
3 宋杨;范湘涛;陆现彩;;利用多时相遥感影像与DEM数据的滑坡灾害调查——以新滩地区为例[J];安徽师范大学学报(自然科学版);2006年03期
4 王强;束炯;张晓沪;;一种遥感图像的坐标转换方法[J];测绘科学;2006年04期
5 孙久虎;刘晓萌;李佑钢;张洁;孟健;;北运河地区植被覆盖的遥感估算及变化分析[J];水土保持研究;2006年06期
6 王志辉;易善桢;;不同指数模型法在水体遥感提取中的比较研究[J];科学技术与工程;2007年04期
7 扶卿华;倪绍祥;王世新;周艺;;土壤盐分含量的遥感反演研究[J];农业工程学报;2007年01期
8 胡文英;角媛梅;;基于DEM的遥感数据复原方法研究[J];国土资源遥感;2007年01期
9 杨一鹏;王桥;肖青;;太湖富营养化遥感评价研究[J];地理与地理信息科学;2007年03期
10 王兮之;;黄土高原泾河流域土地覆被格局研究[J];佛山科学技术学院学报(自然科学版);2007年02期
中国重要会议论文全文数据库 前10条
1 沈焕锋;;面向定量反演的遥感数据预处理方法[A];遥感定量反演算法研讨会摘要集[C];2010年
2 赖震刚;;基于遥感的城市热岛与城市绿地分析[A];江苏省测绘学会2007'学术年会论文集[C];2008年
3 何红艳;郭志华;赵宪文;;遥感在森林地上生物量估算中的现状及展望[A];第十五届全国遥感技术学术交流会论文摘要集[C];2005年
4 孙永军;杨清华;晋佩东;;常用卫星遥感数据比例尺问题探讨[A];第十五届全国遥感技术学术交流会论文摘要集[C];2005年
5 姜丽黎;;对SPOT图像利用纹理方法提取山区居民地[A];第十五届全国遥感技术学术交流会论文摘要集[C];2005年
6 赖震刚;;基于遥感的城市热岛与城市绿地分析[A];江苏省测绘学会2007年学术年会论文集[C];2008年
7 黄妙芬;于五一;张一民;申晋利;;基于MERIS遥感数据水环境石油类污染监测模式[A];2007年中国水产学会学术年会暨水产微生态调控技术论坛论文摘要汇编[C];2007年
8 于凤鸣;包玉海;卓义;;BP神经网络在土地覆被分类中的应用研究[A];中国气象学会2007年年会生态气象业务建设与农业气象灾害预警分会场论文集[C];2007年
9 朱谷昌;;遥感技术与有色金属矿山接替资源勘查[A];新世纪 新机遇 新挑战——知识创新和高新技术产业发展(上册)[C];2001年
10 张定祥;刘莉;;国家土地资源调查监测技术体系建设设想[A];新技术在土地调查中的应用与土地科学技术发展-2005年中国土地学会学术年会论文集[C];2005年
中国重要报纸全文数据库 前10条
1 记者 李大庆;我国遥感数据信息利用率不足5%[N];科技日报;2011年
2 周英峰;中国遥感数据应用正在向产业化发展[N];中国贸易报;2009年
3 本报记者 钟振宇;飞越峡谷发回堰塞湖遥感数据[N];四川日报;2008年
4 陈城;遥感数据把脉京城未来规划[N];建筑时报;2009年
5 记者 李大庆;中科院对地观测中心玉树灾区遥感数据开放[N];科技日报;2010年
6 杨平;遥感数据有了处理新工具[N];科技日报;2003年
7 曹飒;防震减灾重点地区遥感数据库建成[N];光明日报;2006年
8 韩芳;利用遥感优越性监测湿地[N];中国水利报;2007年
9 本报记者 舒萍;卫星遥感技术应用 任重道远[N];四川科技报;2008年
10 记者 王勇;中科院三亚卫星接收站开建[N];海南日报;2009年
中国博士学位论文全文数据库 前10条
1 马超飞;基于关联规则的遥感数据挖掘与应用[D];中国科学院研究生院(遥感应用研究所);2002年
2 张华;遥感数据可靠性分类方法研究[D];中国矿业大学;2012年
3 苗群;南四湖水环境质量评价研究[D];青岛大学;2008年
4 刘志国;长江口水体表层泥沙浓度的遥感反演与分析[D];华东师范大学;2007年
5 江绵康;“数字城市”的理论与实践[D];华东师范大学;2006年
6 张胜茂;基于正八面体球面离散格网模型的全球遥感影像浏览系统研究[D];华东师范大学;2009年
7 彭文甫;基于RS&GIS的城市土地利用变化及其生态环境效应研究[D];成都理工大学;2009年
8 刘正军;高维遥感数据土地覆盖特征提取与分类研究[D];中国科学院研究生院(遥感应用研究所);2003年
9 陈健;东亚飞蝗发生区芦苇LAI的遥感反演及其尺度效应研究[D];南京师范大学;2006年
10 杨沈斌;基于ASAR数据的水稻制图与水稻估产研究[D];南京信息工程大学;2008年
中国硕士学位论文全文数据库 前10条
1 史园莉;遥感数据集群处理系统架构设计与实现[D];中国测绘科学研究院;2010年
2 张哲;基于海量遥感数据的集群并行处理技术研究与应用[D];河南大学;2012年
3 陈芸芝;多源遥感数据在森林资源动态变化监测中的应用——以漳浦县为例[D];福州大学;2004年
4 肖靖;常熟市土地利用动态研究[D];成都理工大学;2006年
5 闫岩;基于定量遥感产品和作物生长模型同化的农作物长势监测与估产方法研究[D];中国科学院研究生院(遥感应用研究所);2006年
6 田建林;基于QuickBird影像的景观信息获取及景观格局研究[D];中南林业科技大学;2006年
7 申卫博;GIS及景观熵模型在沙化土地监测与评价中的应用研究[D];西北农林科技大学;2006年
8 王锋;关联规则挖掘及其在遥感数据处理中的应用研究[D];合肥工业大学;2007年
9 泮雪芹;遥感影像数据融合方法的比较和分析[D];河南大学;2005年
10 孟庆伟;青藏高原特大型湖泊遥感分析及其环境意义[D];中国地质科学院;2007年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026