收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于数据库集群的海洋环境数据优化存储与分布式管理

刘艳艳  
【摘要】: 由于卫星遥感等海洋探测技术的快速发展,所获得的海洋数据呈爆炸趋势增长,数据量高达几百GB甚至于TB级的海量海洋数据库应用已经出现。海洋环境数据存在着多源多格式、数据量大的特点,而基于互联网或局域网对这些数据的访问又有速度、效率、可用性等方面的要求。本文针对这些问题,研究海量数据优化存储方法以及基于数据库集群的分布式数据管理技术,提高海洋数据管理的整体性能和系统的可靠性。论文的主要研究内容和成果如下: 1.海洋环境数据优化存储研究 由于海洋环境数据应用具有面向查询的特点,查询效率和存储空间占用量是进行海洋环境数据库建设所要考虑的最重要的因素。基于这种实际需求,对海洋数据优化存储进行研究,研究包括三个方面:改造传统关系存储模式;研究数据分片方法;研究相应的数据操作方法。 本文提出了一种新的类似网格结构的关系模式Grid_R来管理海洋数据,该结构类似数据采集的实际地理经纬度网格,除了时间,纬度,将所有的经度直接作为属性列。数据分片方法以及相应的数据操作方法研究均基于Grid_R数据组织结构。通过存储与组织的优化减少了数据库的数据冗余,磁盘空间占用量不到传统方法的1/4,减少了网络传输时的数据量,在某种意义上实现了数据压缩。单表查询效率比传统方法提高了4倍以上。 2.基于数据库集群技术的海量数据分布式管理研究 传统的集中式数据库系统难以有效支持基于wEB的海洋地理信息系统功能。随着数据库请求不断增加,查询方式的日益复杂,数据库服务器的负载增加,响应单个请求的速度越来越慢,对系统的稳定运行带来了不利影响。海量数据也对单服务器的存储能力提出挑战。 本文将数据库集群技术应用于海洋环境数据的管理,提出使用基于中间件的数据库集群实现海量数据的分布式管理,将数据分布于不同的数据库节点上,集群中间件系统负责各节点的协作与并行处理,可以获得高性能、高可用性、高可扩展性,突破传统的集中式数据库服务器上的DBMS所固有的性能瓶颈限制。 3.海洋环境数据库集群关键技术研究 基于优化存储结构和分布式管理策略,对数据库集群数据分布、负载均衡以及并行查询等关键技术进行研究: 提出了一种新的数据分布算法:两步分布法,将数据集分为分片数据集和复制数据集,两步分布法即先均匀分布分片数据集、再按异构节点资源权值分布复制数据集,在保证相邻数据分布在不同节点的基础上,使数据分布尽量达到均衡; 提出了一种基于数据复制的动态负载均衡算法来平衡集群的负载,以达到提高整体性能的目标,并解决了局部节点过热和集群可用性问题; 提出了一种并行查询算法来实现用户对集群的透明查询,将用户的全局查询进行解析,根据元数据将全局查询转化对各节点的本地查询,调用负载均衡获得最佳查询节点,然后在各节点并行执行查询,最后进行重构得到最终结果,并将结果返回用户。 根据研究成果,基于海洋大气地理信息系统MAGIS(Marine and AtmosphericGeographicalInformation System)平台软件,建设了多节点海洋环境数据库集群,并开发了集群中间件分布式海洋数据管理器,实现了海洋数据的优化存储与分布式管理,提高了系统的整体性能和可靠性。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 王艳红;;浅析关系数据库设计的规范化[J];科技促进发展(应用版);2011年04期
2 杜一平;;基于关系数据库的一种XML数据存储模型[J];吕梁学院学报;2011年02期
3 刘一博;;以客户需求为导向——E时代客户关系模式探析[J];机电兵船档案;2011年04期
4 郭杨;;异构数据交换中关键技术研究[J];电脑知识与技术;2011年21期
5 赵华;;传媒、政治、市场关系模式中的甘肃小报[J];中州大学学报;2011年04期
6 李麟平;吴云定;刘念祖;;数据库设计中若干问题的探讨[J];上海微型计算机;1998年17期
7 王建卫;郝忠孝;;基于关系的概率XML数据存储方法研究[J];计算机工程与应用;2011年23期
8 应毅;;一种解决次协调数据库中无限关系的方法[J];云南民族大学学报(自然科学版);2011年03期
9 陈俊杰;赵春胜;;1种利用邻接矩阵寻找候选键的方法[J];内蒙古农业大学学报(自然科学版);2011年02期
10 刘定智;;图书管理系统的数据库设计[J];软件导刊;2011年07期
11 杨锋英;;数据库系统原理基础问题解析[J];天中学刊;2011年05期
12 潘莹耀;;女权广告中的性别关系模式探析[J];东南传播;2011年08期
13 李静;曹坤;;情感倾诉故事与武汉市民文化研究——以武汉四家都市类报纸为例[J];今传媒;2011年06期
14 钱宗斌;王艳兵;;利用范式优化关系数据库中的数据结构[J];电脑知识与技术;2011年25期
15 杨小平;李皓;侯丽娜;;面向关系型数据的本体学习模型——RCAOM[J];清华大学学报(自然科学版);2011年04期
16 马金忠;田彦山;;数据库原理课程教学中几个重难点问题的多解探讨[J];高师理科学刊;2011年04期
17 李寅珠;;融合关键字搜索的XML非结构化查询[J];知识经济;2011年13期
18 谢峰;;双XML模式在异构数据交换中的应用研究[J];黑龙江科技信息;2011年21期
19 白晓亮;;数据库关键词检索中候选元组集连接树生成算法的研究[J];电脑知识与技术;2011年16期
20 楼俐;徐诚;王永娟;张飞猛;;基于基类模型模板的自动武器协同设计系统[J];计算机应用;2011年07期
中国重要会议论文全文数据库 前10条
1 陶成庆;纪岳;冯玉才;;关系模式规范化的一个新算法[A];第九届全国数据库学术会议论文集(上)[C];1990年
2 徐国定;;关系模式到IFO图的转换[A];第九届全国数据库学术会议论文集(上)[C];1990年
3 马垣;崔丽;刘鸿雁;梁材;;关系中的概念与命题[A];第十七届全国数据库学术会议论文集(研究报告篇)[C];2000年
4 ;考虑函数依赖与键的关系模式到XML模式的转换(英文)[A];第二十二届中国数据库学术会议论文集(技术报告篇)[C];2005年
5 ;考虑约束的DTD到关系模式的映射(英文)[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
6 蔡昌;崔志娟;杨华;;分离·趋同·协作——税会关系模式及协调机制研究[A];中国会计学会2007年学术年会论文集(中册)[C];2007年
7 陈鹏;孙莉;陈家训;;保持语义约束的关系模式到XML Schema的映射[A];第二十二届中国数据库学术会议论文集(技术报告篇)[C];2005年
8 王兰成;;数字图书馆XMARC文档的关系模式与数据获取研究[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
9 于利胜;张倩;王珊;张延松;;RR_tree:多维索引的关系模式实现新方法[A];第26届中国数据库学术会议论文集(A辑)[C];2009年
10 陶学荣;陈霞;;服务型政府视野下我国NGO组织与政府关系模式的创新[A];“建设服务型政府的理论与实践”研讨会暨中国行政管理学会2008年年会论文集[C];2008年
中国博士学位论文全文数据库 前10条
1 刘艳艳;基于数据库集群的海洋环境数据优化存储与分布式管理[D];中国海洋大学;2008年
2 尤雪英;税会关系模式:国际的经验与中国的实践[D];厦门大学;2007年
3 付小飞;我国行业协会权力研究[D];湖南大学;2010年
4 刘靖北;现代中外政党—国家关系研究[D];华东师范大学;2003年
5 罗松江;市场经济条件下银企关系研究[D];华南师范大学;2002年
6 魏红英;有中国特色国家结构制度研究[D];华中师范大学;2002年
7 张缨;信任、契约及其规制[D];中国社会科学院研究生院;2001年
8 曹妍;本体理论在城市智能交通系统语义集成中的应用研究[D];大连海事大学;2010年
9 朱俊立;公共财政制度下慈善组织发展研究[D];财政部财政科学研究所;2011年
10 高东;基于定性趋势分析的SDG故障诊断方法及其工业应用研究[D];北京化工大学;2010年
中国硕士学位论文全文数据库 前10条
1 张益春;基于关系模式的XML文档访问与查询技术研究[D];暨南大学;2012年
2 龚双;XML模式与关系模式的转换研究与实现[D];暨南大学;2010年
3 陈军华;分布式应用的关系模式规范化[D];上海师范大学;2003年
4 陈惠玲;银证关系模式的变迁与中国的立法选择[D];厦门大学;2001年
5 钱坤;基于XML的企业异构关系数据库转换技术研究[D];西北工业大学;2004年
6 周竞涛;基于XML的异构数据库集成中间件技术研究[D];西北工业大学;2002年
7 蔡鲁湘;基于XML_Schema的地理信息元数据管理系统研究与实现[D];国防科学技术大学;2005年
8 张涛;关系模式下的XML空间元数据存储策略研究[D];武汉大学;2005年
9 董永乐;基于XML的异构数据集成技术的研究与实现[D];西安电子科技大学;2007年
10 刘店辉;大学专业与课程关系的两种模式解析[D];湖南师范大学;2009年
中国重要报纸全文数据库 前10条
1 洪兴;保险公司与保险代理机构的关系模式[N];中国保险报;2002年
2 魏小猛 徐斌;对抗:伴着战争的脚步位移[N];中国国防报;2010年
3 李媛;香港与内地消费者忠于 品牌的原动力截然不同[N];中国经营报;2002年
4 王义伟;宋楚瑜想担当什么角色[N];中华工商时报;2005年
5 记者 陈永杰;“X二代”到底怎么了[N];北京科技报;2011年
6 ;转型时期中国劳动关系之研究[N];工人日报;2005年
7 朱效增;张瑞敏:中国企业要到国外做品牌[N];国际商报;2003年
8 中国政法大学教授 博士生导师 樊崇义;采用混合型定罪量刑关系模式有利于规范量刑[N];人民法院报;2010年
9 本报记者 田一珊;让广告与内容亲密接触[N];中国经营报;2001年
10 记者 袁蓉君;希拉里亚洲之行重在中国[N];金融时报;2009年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978