收藏本站
《河南大学》 2014年
收藏 | 手机打开
二维码
手机客户端打开本文

基于计算存储一体化策略的遥感数据高性能计算研究及应用

杨梦茹  
【摘要】:高性能计算机的迅速发展为海量遥感数据处理提供了强大的计算资源,基于集群及计算存储一体化的高性能计算已成为目前最主要的计算平台。在集群环境下设计并实现海量遥感数据并行处理系统是提高遥感数据处理速度的必然选择。 随着高分辨率及传感器类型的增加,遥感数据TB级的增长对高性能遥感数据处理平台的I/O要求造成非常大的压力,包括服务器磁盘的读写压力,服务器网段的传输压力等,为了最大化发挥分布式并行优势,在保证系统安全稳定的前提下,本文采用了计算存储一体化策略,以减少并行处理系统中的数据传输。 本文在分析了网格、云计算及集群计算等几种高性能计算的优缺点基础上,提出并实现了一种基于计算存储一体化的高性能集群架构,以实现对海量遥感数据的高效处理,并在卫星遥感基础共性产品一体化处理系统中得以应用。 本文的工作主要体现在以下几点: (1)基于已有集群系统,深入研究遥感数据高性能计算处理系统,针对海量遥感数据对处理平台I/O、服务器磁盘的读写及网络传输造成的压力等问题,采用把数据存储从原来集中到一个机器变成计算、存储一体化架构,最大限度降低系统架构的I/O传输,更充分利用了存储服务器的计算资源、计算服务器的存储资源,从而提高平台的整理处理时效。 (2)采用了逻辑上静态、物理上可动态扩展的分布式存储模型来实现对海量遥感数据的存储及管理。引入虚拟磁盘空间(VDS)的概念来把切片分配到多个存储站点,并采用交叉备份方式确保系统的稳定性。 (3)采用三级并行策略来最大化发挥高性能并行计算在大规模的遥感影像处理中发挥着的重要作用 (4)实验验证。通过使用不同类型卫星的数据测试,从多个角度进行对比验证,证明本文提出的高性能集群架构并行处理能力和效率上均有提升。
【学位授予单位】:河南大学
【学位级别】:硕士
【学位授予年份】:2014
【分类号】:TP79

【参考文献】
中国期刊全文数据库 前9条
1 陈康;;云计算后台大规模数据处理技术探讨[J];电信工程技术与标准化;2009年11期
2 李圣强;李闽峰;刘桂平;王斌;吴婷;王浩;;高性能集群计算系统的构建[J];地震;2012年01期
3 吕雪锋;程承旗;龚健雅;关丽;;海量遥感数据存储管理技术综述[J];中国科学:技术科学;2011年12期
4 刘伟;刘露;陈荦;钟志农;;海量遥感影像数据存储技术研究[J];计算机工程;2009年05期
5 杨任农;白娟;黄震宇;邬蒙;樊蓉;;基于SQLite的LOD模式海量影像数据管理系统的设计与实现[J];计算机工程与科学;2011年10期
6 郭建平;肖华东;刘昭华;曹春香;张颢;光洁;;基于并行计算的气溶胶定量遥感反演模型实现[J];计算机应用;2009年06期
7 赖积保;罗晓丽;余涛;贾培艳;;一种支持云计算的遥感影像数据组织模型研究[J];计算机科学;2013年07期
8 陈康;郑纬民;;云计算:系统实例与研究现状[J];软件学报;2009年05期
9 王小伟,郭力,葛蔚,杨章远;高性能并行集群计算环境的构建与性能测试[J];小型微型计算机系统;2004年03期
中国博士学位论文全文数据库 前1条
1 康俊锋;云计算环境下高分辨率遥感影像存储与高效管理技术研究[D];浙江大学;2011年
【共引文献】
中国期刊全文数据库 前10条
1 魏东泽;来学嘉;;一种安全的高可靠性P2P云存储备份模型初探参考文献[J];信息安全与技术;2011年09期
2 王继鹏;;高等教育云计算服务平台构建策略初探[J];安阳师范学院学报;2011年05期
3 马颖丽;汪涛;;构建高校私有云计算环境[J];保定学院学报;2011年03期
4 刘真;刘峰;张宝鹏;马飞;高石玉;;云计算模型在铁路大规模数据处理中的应用[J];北京交通大学学报;2010年05期
5 徐小龙;程春玲;熊婧夷;王汝传;;一种基于移动Agent的云端计算任务安全分割与分配算法[J];北京理工大学学报;2011年08期
6 李建卓;;云计算及其发展综述[J];宝鸡文理学院学报(自然科学版);2010年03期
7 董晓霞;吕廷杰;;云计算研究综述及未来发展[J];北京邮电大学学报(社会科学版);2010年05期
8 赵丽萍;故障转移在数字图书馆服务器架构中的应用分析[J];图书与情报;2005年03期
9 邓仲华;朱秀芹;;云计算环境下的隐私权保护初探[J];图书与情报;2010年04期
10 马晓亭;陈臣;;基于成本收益分析的云计算环境下数字图书馆建设研究[J];图书与情报;2011年06期
中国重要会议论文全文数据库 前10条
1 万丹丹;王宏;;云计算在编辑工作中的应用探讨[A];学术期刊编辑学理论与实践[C];2010年
2 郭捷夫;;基于云计算模型的绿色IT数据中心构建方案研究[A];2011年通信与信息技术新进展——第八届中国通信学会学术年会论文集[C];2011年
3 汪云凤;李心科;;云服务环境下的服务聚合方法研究[A];2011中国仪器仪表与测控技术大会论文集[C];2011年
4 张白兰;杨向红;李家龙;刘伟;林创燕;邱正能;;物联网综述[A];中国电子学会第十七届信息论学术年会论文集[C];2010年
5 任伟;叶敏;刘宇靓;;云安全的信任管理研究[A];全国计算机安全学术交流会论文集·第二十五卷[C];2010年
6 周轩;黄璞;;基于云计算的OMS平台移动业务测试系统[A];中国通信学会第六届学术年会论文集(上)[C];2009年
7 唐玲;;云计算及其安全问题的研究[A];Proceedings of 2011 National Teaching Seminar on Cryptography and Information Security(NTS-CIS 2011) Vol.1[C];2011年
8 丁辉;赵炜妹;;基于云计算应用一级部署的研究[A];2011电力通信管理暨智能电网通信技术论坛论文集[C];2011年
9 赵伟;陈承收;李立军;;基于MapReduce云计算模型的碰撞检测算法[A];'2010系统仿真技术及其应用学术会议论文集[C];2010年
10 潘松柏;张云勇;陈清金;魏进武;;云计算安全需求和策略[A];2010年全国通信安全学术会议论文集[C];2010年
中国博士学位论文全文数据库 前10条
1 吴吉义;基于DHT的开放对等云存储服务系统研究[D];浙江大学;2011年
2 王铁军;非结构化对等网络资源定位技术研究[D];电子科技大学;2010年
3 江颉;面向电子服务的访问控制关键技术研究[D];浙江大学;2010年
4 张泽华;云计算联盟建模及实现的关键技术研究[D];云南大学;2010年
5 李铮;多媒体云计算平台关键技术研究[D];中国科学技术大学;2011年
6 康俊锋;云计算环境下高分辨率遥感影像存储与高效管理技术研究[D];浙江大学;2011年
7 林云;汽车物流服务供应链体系构建与应用研究[D];重庆大学;2011年
8 朱智强;混合云服务安全若干理论与关键技术研究[D];武汉大学;2011年
9 方雷;基于云计算的土地资源服务高效处理平台关键技术探索与研究[D];浙江大学;2011年
10 葛显龙;面向云配送模式的车辆调度问题及算法研究[D];重庆大学;2011年
【二级参考文献】
中国期刊全文数据库 前10条
1 程承旗;吕雪锋;关丽;;空间数据剖分集群存储系统架构初探[J];北京大学学报(自然科学版);2011年01期
2 陈天华;;图像检索技术研究与发展[J];北京工商大学学报(自然科学版);2008年06期
3 胡泽明;李婧;岳春生;;嵌入式GIS提高矢量地图显示速度的软件方法实现[J];测绘科学;2007年06期
4 陈军;蒋捷;周旭;翟勇;朱武;丁明柱;;地理信息公共服务平台的总体技术设计研究[J];地理信息世界;2009年03期
5 李德仁;肖志峰;朱欣焰;龚健雅;;空间信息多级网格的划分方法及编码研究[J];测绘学报;2006年01期
6 肖汉;张祖勋;;基于GPGPU的并行影像匹配算法[J];测绘学报;2010年01期
7 李德仁;;论地球空间信息的3维可视化:基于图形还是基于影像[J];测绘学报;2010年02期
8 王家耀;;地图制图学与地理信息工程学科发展趋势[J];测绘学报;2010年02期
9 程承旗;关丽;;基于地图分幅拓展的全球剖分模型及其地址编码研究[J];测绘学报;2010年03期
10 赵元;张新长;康停军;;并行蚁群算法及其在区位选址中的应用[J];测绘学报;2010年03期
中国重要会议论文全文数据库 前1条
1 李闽峰;李圣强;王斌;刘桂平;吴婷;王浩;;地震预测研究所高性能集群计算系统[A];中国地球物理·2009[C];2009年
中国博士学位论文全文数据库 前10条
1 邓雪清;栅格型空间数据服务体系结构与算法研究[D];中国人民解放军信息工程大学;2003年
2 宋江洪;遥感图像处理软件中的关键技术研究[D];中国科学院研究生院(遥感应用研究所);2005年
3 孙宏元;基于HPC的多分辨空间信息应用基础平台关键技术研究[D];西安电子科技大学;2006年
4 赵振;一种自适应海量存储系统组织策略及关键技术研究[D];华中科技大学;2006年
5 赵春宇;高性能并行GIS中矢量空间数据存取与处理关键技术研究[D];武汉大学;2006年
6 陈志荣;移动空间信息网格服务模型研究及实现方法[D];浙江大学;2008年
7 许欢;面向服务的土地资源空间信息多级语义网格研究[D];浙江大学;2009年
8 姜小俊;海底浅层声学探测空间数据集成与融合模型及GIS表达研究[D];浙江大学;2009年
9 刘婷;土地资源信息语义服务发现与服务链研究[D];浙江大学;2010年
10 杜震洪;近海环境地物认知模型与智能服务聚合研究[D];浙江大学;2010年
【相似文献】
中国期刊全文数据库 前10条
1 严瑾;;遥感数据应急服务机制研究与实现[J];硅谷;2011年11期
2 谢怡;利用遥感数据研究地球变化[J];中国航天;1991年08期
3 吴美蓉;中巴地球资源卫星应用及其发展[J];测绘科学;2000年02期
4 林俞先;李琦;;数字城市中遥感数据共享服务的研究[J];计算机科学;2007年04期
5 王昊鹏;赵凯;;植被虚拟仿真的遥感数据融合研究[J];微计算机信息;2008年34期
6 冯春;郭伟;龙小祥;邵俊;;我国遥感数据共享探讨[J];中国科技资源导刊;2010年03期
7 王霄;;俄罗斯《地球遥感数据条例》草案发布[J];卫星应用;2014年03期
8 李玉环;王静;吕春燕;张继贤;;基于TM/ETM+遥感数据的地面相对反射率反演[J];山东农业大学学报(自然科学版);2005年04期
9 滕龙妹;刘仁义;刘南;;海洋遥感数据一体化管理方法[J];上海交通大学学报;2008年10期
10 吴伟志;杨玉芳;;空间遥感数据的多粒度标记分类[J];计算机科学;2012年04期
中国重要会议论文全文数据库 前10条
1 任娜;朱长青;;一种抗拼接的瓦片遥感数据水印算法[A];第四届“测绘科学前沿技术论坛”论文精选[C];2012年
2 黄二辉;潘德炉;杨燕明;;海洋遥感数据的时空分布经验正交分析方法研究[A];第十五届全国遥感技术学术交流会论文摘要集[C];2005年
3 徐国富;邓正栋;于德浩;;基于遥感数据的民用渡口选址模型及实例分析[A];国家安全地球物理丛书(八)——遥感地球物理与国家安全[C];2012年
4 谭福强;董双发;;遥感数据的尺度效应与遥感应用[A];第十四届全国遥感技术学术交流会论文摘要集[C];2003年
5 翟永;宋雪生;;遥感数据成果的分级存储管理[A];第十五届全国遥感技术学术交流会论文摘要集[C];2005年
6 李幸丽;杜培军;;面向数字城市的遥感数据挖掘及其应用[A];第十五届全国遥感技术学术交流会论文摘要集[C];2005年
7 张伟;;高空间分辨率遥感数据的预处理方法——以泉州快鸟数据为例[A];2007年福建省土地学会年会征文集[C];2007年
8 谢锋;潘明忠;亓洪兴;徐卫明;张雷;舒嵘;戴宁;薛永祺;;支持农业遥感数据产品开发与验证的相关技术进展[A];全国农业遥感技术研讨会论文集[C];2009年
9 钟志勇;陈映鹰;;海量遥感数据应用方法初探[A];第十四届全国遥感技术学术交流会论文摘要集[C];2003年
10 潘强;孙建中;倪丽萍;张杰;;上海城市遥感数据平台的构建及其在城市信息化进程中的作用[A];第十四届全国遥感技术学术交流会论文摘要集[C];2003年
中国重要报纸全文数据库 前10条
1 陈城;遥感数据把脉京城未来规划[N];建筑时报;2009年
2 本报记者 操秀英 陈磊;应急“蓄水池”:遥感数据在这里汇聚[N];科技日报;2013年
3 王彤琪;黄河凌情遥感数据更丰富 应用更便捷[N];黄河报;2009年
4 记者 李大庆;我国遥感数据信息利用率不足5%[N];科技日报;2011年
5 记者 李安利;测绘系统遥感数据服务体系日臻完善[N];中国测绘报;2003年
6 杨平;遥感数据有了处理新工具[N];科技日报;2003年
7 李红梅;南亚:使用遥感数据监测旱情[N];中国水利报;2012年
8 庞剑波 郑雄伟;三峡库区首获航空遥感数据[N];地质勘查导报;2009年
9 吕世充 蔚晓涵;武汉珈和遥感数据中心平台服务农业[N];中国测绘报;2014年
10 ;拓宽服务领域 提供高质量遥感数据[N];中国测绘报;2002年
中国博士学位论文全文数据库 前5条
1 马超飞;基于关联规则的遥感数据挖掘与应用[D];中国科学院研究生院(遥感应用研究所);2002年
2 周松涛;海量遥感数据的高性能处理及可视化应用研究[D];武汉大学;2013年
3 常歌;基于遥感数据的城市景观建模技术研究与实践[D];解放军信息工程大学;2001年
4 哈斯巴干;神经网络及其组合算法的遥感数据分类研究[D];中国科学院研究生院(遥感应用研究所);2003年
5 穆超;基于多种遥感数据的电力线走廊特征物提取方法研究[D];武汉大学;2010年
中国硕士学位论文全文数据库 前10条
1 张哲;基于海量遥感数据的集群并行处理技术研究与应用[D];河南大学;2012年
2 方聪;基于对等架构的海量遥感数据分发系统的设计与实现[D];浙江大学;2013年
3 史园莉;遥感数据集群处理系统架构设计与实现[D];中国测绘科学研究院;2010年
4 王舒境;网络环境下的海量地学遥感数据高效存储与发布[D];浙江大学;2006年
5 朱娟娟;基于多源影像的多角度遥感数据平台的设计与开发[D];电子科技大学;2008年
6 杨梦茹;基于计算存储一体化策略的遥感数据高性能计算研究及应用[D];河南大学;2014年
7 陈超;遥感数据融合智能化处理方法研究[D];山东科技大学;2009年
8 王娜;海洋遥感数据速报系统设计与实现[D];浙江大学;2006年
9 曹广生;基于Web服务的遥感数据共享与服务动态管理技术研究[D];山东科技大学;2009年
10 徐勇;移动终端下环境星遥感数据共享机制的研究与应用[D];河南大学;2014年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026