收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

大规模气象数据布局的自适应性研究

陈文慧  
【摘要】:随着信息技术的飞速发展,人类社会活动越来越多地依赖于各种数字化信息。无论是个人的数据资料、企事业单位的核心运营数据,还是保证国家和社会正常运转的文件,都离不开海量信息数据的存储、处理和传输。特别是像我国这样受自然灾害影响非常为严重的国家,气象数据资料作为一种海量信息数据,以气象事业作为我国的公益事业,为国家安全、防灾减灾提供重要保障,受到了国家的高度重视。 然而现有的大规模气象数据存储系统中,气象数据应用实时性差,数据状态和存储、传送过程不透明,气象数据管理过于集中,气象数据的共享方式繁杂、自适应性差,数据质量保障能力差。针对上述这些问题,本文给出了一个大规模气象数据存储系统LMDSS的设计方案。该存储系统采用面向对象存储的分布式文件系统,并结合层次化CDN网络和虚拟化技术对气象数据进行存储备份,保证气象数据的实时性和安全可靠性。同时,针对该系统中气象数据存储设备和内容传输网络以及关键数据缓存器之间进行气象数据传输和重新布局的问题,本文提出了一种层次化一致Hash布局算法。该算法首先将大规模气象数据存储设备层次性地划分为各个小存储设备集合,然后在各个小存储设备集合之间采用一致Hash数据布局算法,最后在每个小存储设备集合内部再次使用一致Hash算法,进行数据的再次布局,使气象数据公平地分布在每个存储设备上。该算法能够自适应存储设备的动态变化,有效地重新布局数据,快速定位数据,减少对气象数据存储设备空间的消耗,满足了国家气象服务系统准确性和实时性要求,并解决了在气象应用上传或下载气象数据时,访问和存储气象数据过程中出现的I/O瓶颈问题。 因此,在大规模气象存储系统中,对气象数据进行有效地存储管理,提高气象预报服务的准确性和实时性,增强区域气候的可预测性,实现天气预报业务系统的自动化、智能化是国家保障人民群众生命财产安全与促进社会和谐稳定一项基础工作,具有重要的现实意义。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 刘志红;Tim R. McVicar;Van Niel,T. G;杨勤科;李锐;;专用气候数据空间插值软件ANUSPLIN及其应用[J];气象;2008年02期
2 唐雅茜;陈平;朱海波;;气象信息系统现状及其未来发展前景[J];企业科技与发展;2008年24期
3 龚琳;;基于2.5维面的气象数据可视化技术——以风场数据显示为例[J];测绘科学;2010年03期
4 刘菁;徐远远;冯丹;;.NET平台下区域自动气象站数据质量控制研究与实现[J];气象与环境科学;2011年S1期
5 王钰;;江西省气象科学共享数据集建设[J];江西科学;2008年01期
6 朱健;庄科旻;周丹;王轶;;MSChart在气象数据图形化显示中的应用[J];浙江气象;2009年S1期
7 熊雄;邓卫华;刘小钢;李芬;;基于EXCEL VBA程序设计的气象数据图形化显示[J];科技广场;2010年11期
8 单军辉,卢潇,张科英;数据仓库技术在天气预报中的研究探讨[J];河北大学学报(自然科学版);2004年02期
9 刘峰;刘娟;李萍;林智;;基于MATLAB实现3种气象数据的读取和绘图[J];广东气象;2007年04期
10 曾财兴;曹长尧;;交互式数据语言在气象数据可视化中的应用[J];气象科技;2007年S1期
11 任广治;;XML技术在气象数据共享中的应用[J];山东气象;2009年01期
12 哈斯巴干,马建文,周自江,李启青;基于气象数据与AVHRR热红外数据的人工神经网络分类方法[J];中国科学院研究生院学报;2003年03期
13 王国复;孙超;何小明;朱江;陈学君;;气象目录服务系统的设计与实现[J];地球信息科学学报;2009年01期
14 谭鉴荣;伍光胜;林金田;;基于GPRS网络的远程气象数据采集系统设计和实现[J];气象科技;2009年05期
15 赖俊滨;;编程Tser211处理团岛大气试验站气象采集数据[J];装备环境工程;2010年04期
16 王元;王录中;;信息化气象数据存档后备和服务后援磁性载体配置的优化设计[J];气象科技;1991年06期
17 董言治,周晓东,娄树理,陈永刚,沈同圣;MATLAB在运用系统建模处理南海气象数据过程中应用[J];成都信息工程学院学报;2004年01期
18 高梅,接连淑,张文华;气象科研数据共享系统建设[J];应用气象学报;2004年S1期
19 张寒;娄伟平;冯国标;钱月平;;绍兴市第5代稻飞虱发生程度预测模型[J];浙江气象;2009年01期
20 阿不力米提·阿布都克力木;于帅;李占睿;;利用气象数据库系统架设气象预警服务平台[J];气象水文海洋仪器;2009年03期
中国重要会议论文全文数据库 前10条
1 张明;宋英杰;李敏;丁莉莉;;公共气象服务中基础气象数据的开发与应用[A];第七届全国优秀青年气象科技工作者学术研讨会论文集[C];2010年
2 孔璐;刘承光;;气象数据管理与共享技术研究[A];第七届长三角气象科技论坛论文集[C];2010年
3 杨琳;;从电影《手机》想到个人短信加密[A];四川省通信学会2005年学术年会论文集[C];2005年
4 高亢;秦岩松;纪俊云;;CMACast气象数据文件收发效果分析[A];2011年中国气象学会气象通信与信息技术委员会暨国家气象信息中心科技年会论文摘要[C];2011年
5 ;数字管道数据存储、备份平台建设[A];中国石油石化数字管道信息化建设论坛暨燃气管网安全、经济、运营技术交流研讨会论文集[C];2009年
6 王甫棣;姚燕;李湘;;基于XML的气象数据订阅系统设计[A];2011年中国气象学会气象通信与信息技术委员会暨国家气象信息中心科技年会论文摘要[C];2011年
7 李艳萍;;地理信息系统与气象的融合应用[A];2004年广西气象学会学术年会论文选集[C];2004年
8 张成林;江文兵;;通讯存储设备中硬盘振动控制浅析[A];2011年机械电子学学术会议论文集[C];2011年
9 杨志;;浅谈内网移动存储设备的管控[A];全国计算机安全学术交流会论文集(第二十二卷)[C];2007年
10 李永安;田胜元;;气象数据的精简对模拟空调能耗影响程度的分析[A];全国暖通空调制冷1990年学术年会论文集(下)[C];1990年
中国博士学位论文全文数据库 前10条
1 陈涛;大规模网络存储环境中的数据布局与查询优化技术研究[D];国防科学技术大学;2011年
2 张喆;五运六气的源流、推演及51年10地区气象资料的统计验证[D];山东中医药大学;2006年
3 陈学君;甘肃省气象科学数据共享平台及其应用研究[D];兰州大学;2009年
4 邓玉辉;基于网络磁盘阵列的海量信息存储系统[D];华中科技大学;2004年
5 刘朝斌;虚拟网络存储系统关键技术研究及其性能评价[D];华中科技大学;2004年
6 董晓明;对象属性控制的存储策略研究[D];华中科技大学;2006年
7 陈海霞;计算机数据存储系统中读写头/盘间超薄气膜动力稳定性研究[D];华中科技大学;2004年
8 向东;iSCSI-SAN网络异构存储系统管理策略的研究[D];华中科技大学;2004年
9 秦磊华;存储扩展流量控制缓存分配策略研究[D];华中科技大学;2007年
10 罗益辉;海量对象存储系统数据组织算法的研究[D];华中科技大学;2006年
中国硕士学位论文全文数据库 前10条
1 陈文慧;大规模气象数据布局的自适应性研究[D];东北大学;2012年
2 涂辉;温度属性对存储设备可靠性影响的研究[D];华中科技大学;2012年
3 何轩;基于海事卫星系统的气象信息传输与实现[D];大连海事大学;2012年
4 王倩倩;基于RS和GIS的农区气象数据重建方法研究[D];南京大学;2013年
5 郭旭;气象数据管理与预报系统的设计与实现[D];东北大学;2008年
6 胡天昊;一种新型视频监控专用数据存储系统的设计与实现[D];浙江理工大学;2013年
7 卓为;气象数据的分类挖掘和预测研究[D];南京信息工程大学;2005年
8 刘正佳;气象数据的不确定性对CEVSA模型模拟结果的影响研究[D];山东师范大学;2012年
9 常英;专用USB存储设备的研究与实现[D];西安电子科技大学;2011年
10 李太勇;空管系统中气象数据处理的研究和应用[D];四川大学;2004年
中国重要报纸全文数据库 前10条
1 王长城;新一代气象数据卫星广播系统落户我州[N];甘孜日报(汉文);2011年
2 本报记者 付芳芳 王素琴 杨念华;认真对待每个气象数据[N];中国气象报;2010年
3 记者 李晔 通讯员 郭战峰 柏兰;气象数据共享迈出第一步[N];中国气象报;2001年
4 李晔;气象数据资源将有管理办法[N];中国气象报;2003年
5 孙波;虚拟存储的真实存储[N];中国电脑教育报;2005年
6 崔军强;“U盘寄生虫”病毒正在加速传播[N];中国税务报;2007年
7 记者  郑申;分层存储好钢用在刀刃上[N];金融时报;2006年
8 ;中兴光网络产品通过IBM认证[N];人民邮电;2006年
9 本报记者 张峰;快照 快速备份显奇效[N];网络世界;2005年
10 邓侃;网络存储要分散[N];中国计算机报;2002年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978