收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

集群环境下海量数据存储管理技术的研究

胡学庆  
【摘要】:在石油勘探、遥感等领域中,海量数据文件经常以TB数量级别出现。在存储的过程中,时常由于单一存储设备的容量不足而导致海量数据文件无法存储,只能通过添加新的存储设备解决问题。当前许多技术都提供了将多个盘阵处理为一个虚拟盘的功能,以适应对TB级数据的存储。但这仍然不能避免多个存储系统中的“边缘”数据存储的问题,即一个磁盘系统剩余容量只能存储地震数据的一部分。其次,多种存储设备(例如磁带机)存储方法不同,造成在存储海量数据时不能统一有效的进行存储,而是需要通过转录等形式,降低了存储设备的存储效率,极大的影响了企业的工作效率。集群环境下,海量数据的存储还依赖于节点间高效的任务调度,资源的使用越平衡,作业响应时间就越短。所以一个适合的节点间任务调度算法对于缩短作业平均响应时间,提高节点资源平均使用效率进而提高海量数据存储性能有着非常重要的作用。 由于以上的原因,相关领域中亟需要一种在集群环境下能够对海量数据进行存储管理的模型机制。在这种模型机制中,各种介质存储设备将进行统一存储、海量数据将跨盘跨介质存储并且采用高效的任务调度算法以缩短作业平均响应时间,提高存储效率。提出相应的跨盘存储方法和调度算法测试方案,并实现一个原型。 主要研究内容: 多介质存储设备统一存储机制。通过分析磁带机等多介质存储设备的存储特性,采用管道技术、进程机制以及底层IO系统调用等,屏蔽了存储设备的异构性,提出二套存储设备统一存储访问接口,最终实现了多介质存储设备的统一存储,并对一套解决方案在数据安全性和缓冲区大小等方面进行了对比。 海量数据跨盘存储机制。分析了海量数据跨盘存储研究现状,采用底层文件IO存储访问接口,提出了海量数据跨盘存储访问机制,包括一套底层的文件跨盘读写接口,以及相应的配置跨盘操作系统原型,实现了海量数据的跨盘存储,并对相应存储接口进行了测试。 集群环境下负载平衡调度算法。分析了基本的动态负载平衡算法,采用其中轮转法与加权法相结合的方法,提出了一种负载平衡调度算法,通过对实验算法的性能对比,该算法具有响应时间短、负载平衡次数少、额外开销少等特点,最终实现了工作效率的提高。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 伊雯雯;孙涌;尹春晖;;集群环境下个性化检索系统的研究与实现[J];苏州大学学报(自然科学版);2008年03期
2 梁耿;;基于生命周期管理的数据存储在BOSS中的应用[J];电信工程技术与标准化;2009年04期
3 陈琪,王芸,栗鑫;天津通信企业IT信息存储支撑平台[J];天津通信技术;2004年04期
4 Peter Baumann,赵曜;海量数据处理与多维数据库[J];中文信息;1998年05期
5 AlixL.Paultre;用全息技术实现海量数据存储[J];今日电子;2002年08期
6 马照亭;李成名;王继周;潘懋;;海量地形可视化的研究现状与前景展望[J];测绘科学;2006年01期
7 罗勇;何玉珠;;外场高速数据采集系统的研制[J];电子测量技术;2006年02期
8 周婧;王意洁;阮炜;李思昆;;面向海量数据的数据一致性研究[J];计算机科学;2006年04期
9 吴丽娟;郑冕;张彩明;;海量空间数据点k近邻的快速搜索算法[J];小型微型计算机系统;2007年01期
10 吴飞;解智强;赵俊三;;海量数据下三维影像图的制作与关键问题探讨——以昆明市域为例[J];测绘信息与工程;2007年03期
11 王新筠;;数据挖掘技术在图书馆自动化管理系统中的应用[J];科技情报开发与经济;2007年26期
12 王喆;潘懋;戴婉薇;郭艳军;;支持海量数据操作的Oracle数据引擎的设计与实现[J];地理与地理信息科学;2008年02期
13 邢海韬;饶健菱;;应用先进管理技术实现海量数据统一管理[J];大众科技;2008年09期
14 杨国安;郭乃明;;应用于海洋平台安全保障系统的海量数据管理[J];计算机与现代化;2009年03期
15 舒畅;李秀玲;刘丽丽;;网络管理系统开发中几个关键问题的讨论[J];软件导刊;2010年09期
16 宋江洪,赵忠明;图像分块分层结构在海量数据处理中的应用[J];计算机工程与应用;2004年33期
17 贲进,张永生,童晓冲;地形可视化系统Terra Vision技术分析及其在全球海量空间数据管理中的应用[J];测绘通报;2005年06期
18 张金乙;姜文志;蒋伟俊;王迪;;高速海量数据的接收和存储系统的设计与实现[J];计算机时代;2007年12期
19 孟斌;王亮;;高并发和海量数据的地图服务系统设计与关键技术[J];重庆工学院学报(自然科学版);2009年04期
20 华珺;;海纳百川——万兆IP SAN的价值[J];信息方略;2009年04期
中国重要会议论文全文数据库 前10条
1 张坜;孙国强;;集装箱运输系统ETL的设计与实现[A];第七届全国信息获取与处理学术会议论文集[C];2009年
2 张丽艳;庄海军;聂军洪;;基于海量数据测量的逆向工程与快速原型集成技术研究[A];特种加工技术——2001年中国机械工程学会年会暨第九届全国特种加工学术年会论文集[C];2001年
3 陈建海;王建弟;李子川;;基于数据仓库的地籍管理信息系统框架设计[A];地理空间信息技术及其应用论坛论文集[C];2005年
4 陈建海;王建弟;李子川;;基于数据仓库的地籍管理信息系统框架设计[A];中国地理信息系统协会第九届年会论文集[C];2005年
5 韩伟红;贾焰;杨树强;;TB级海量数据实时加载技术的研究与实现[A];第八届全国信息隐藏与多媒体安全学术大会湖南省计算机学会第十一届学术年会论文集[C];2009年
6 钟志勇;陈映鹰;;海量遥感数据应用方法初探[A];第十四届全国遥感技术学术交流会论文摘要集[C];2003年
7 陈卓;刘晓平;;关于BISONC程序的交互式数据处理及科学计算的可视化[A];全国第十五届计算机科学与技术应用学术会议论文集[C];2003年
8 李学军;;利用CASS地形图建立MapInfo数据库的探讨[A];2007'全国测绘科技信息交流会暨信息网成立30周年庆典论文集[C];2007年
9 李学军;;利用CASS地形图建立MapInfo数据库的探讨[A];中国测绘学会九届三次理事会暨2007年“信息化测绘论坛”学术年会论文集[C];2007年
10 徐辉;王闯;;主体功能区规划地理信息数据库技术平台建设研究[A];科技创新与节能减排——吉林省第五届科学技术学术年会论文集(上册)[C];2008年
中国博士学位论文全文数据库 前10条
1 王加阳;面向海量数据的粗糙集理论与方法研究[D];中南大学;2005年
2 陈涛;大规模网络存储环境中的数据布局与查询优化技术研究[D];国防科学技术大学;2011年
3 杜莹;全球多分辨率虚拟地形环境关键技术的研究[D];中国人民解放军信息工程大学;2005年
4 管群;VR-GIS技术在岩土工程中的应用[D];四川大学;2002年
5 周婧;P2P分布存储系统中海量数据的数据一致性维护技术研究[D];国防科学技术大学;2007年
6 崔滨;海量数据实时三维交互式显示关键技术研究[D];上海大学;2010年
7 庄毅;海量多媒体数据库的高效查询处理[D];浙江大学;2007年
8 陶钧;海量数据P2P分布式稳固存储方法与优化研究[D];国防科学技术大学;2008年
9 王永恒;海量短语信息挖掘技术的研究与实现[D];国防科学技术大学;2006年
10 彭涛;基于特征和实例的海量数据约简方法研究[D];华中科技大学;2011年
中国硕士学位论文全文数据库 前10条
1 胡学庆;集群环境下海量数据存储管理技术的研究[D];东北石油大学;2010年
2 李文;虚拟天文台环境下的海量数据存储与访问技术研究[D];天津大学;2007年
3 王桂强;海量数据分析处理方法的研究[D];上海交通大学;2010年
4 杨才远;浮标基海量数据高速传输技术研究[D];哈尔滨工程大学;2010年
5 李宇;基于分布式数据库和数据挖掘技术的统计报表系统的分析与设计[D];吉林大学;2006年
6 黄煜;海量数据迁移和报表自动生成的研究和实现[D];上海交通大学;2010年
7 莫映;真三维地理信息系统中海量数据处理技术的应用研究[D];首都师范大学;2004年
8 王璐;MIS系统中集成实时监控系统与三层C/S结构的应用[D];长春理工大学;2002年
9 叶冲轶;高维海量数据联合聚类算法的研究与应用[D];浙江工商大学;2010年
10 郭乃明;基于VC++的海洋平台安全保障系统及其数据管理优化设计[D];北京化工大学;2008年
中国重要报纸全文数据库 前10条
1 中兴通讯;云存储铺就海量数据之路[N];通信产业报;2011年
2 安徽电力调度通信中心 袁林;征服电力调度海量数据[N];中国计算机报;2005年
3 ;MSP软件系统:海量数据的归档[N];中国计算机报;2006年
4 郑昊;数据挖掘加工海量数据[N];中国计算机报;2007年
5 任续烨;海量数据我来处理[N];中国计算机报;2004年
6 汪小意;搜数网:从海量数据中搜索未来[N];第一财经日报;2006年
7 本报记者 周源;向海量数据开战[N];网络世界;2010年
8 子文;ADIC StorNext/SAN存储海量数据[N];通信产业报;2003年
9 朱新亚;管理生物海量数据[N];中国计算机报;2003年
10 记者 冯卫东;美开发出新型纳米内存器件[N];科技日报;2007年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978