收藏本站
《吉林大学》 2010年
收藏 | 手机打开
二维码
手机客户端打开本文

数据网格几个关键技术的研究

姜建华  
【摘要】: 随着网格计算技术的飞速发展,数据网格作为其重要的分支之一也得以快速发展。数据网格技术的研究专注于数据密集型作业的有效处理和全局数据资源的有效管理与使用。本文在认识数据网格的基本情况的基础之上,对数据网格中的副本替换机制、作业调度算法、即插即用和按需动态扩展协议进行了分析和探索。 作者首先回顾了数据网格的基本研究情况,系统深入地分析了当前网格计算的几个关键的研究领域,列出了本文所关注的数据网格中存在的问题,并针对这些问题,详细阐述了本文的解决方案。 在副本替换机制的研究中,分析了现有的数据网格中的副本替换算法存在的问题。作者认为当前的副本替换算法强调单个数据文件的访问情况而忽视了数据文件之间的关联特性,提出了一个基于关联数据文件的副本替换算法;同时,作者又针对当前副本替换算法仅考虑单个存储节点的数据访问情况提出了一个基于全局副本文件访问情况的LFU-Min算法。通过模拟实验,这两个算法都取得了较好的效果。 在数据密集型作业的调度算法研究中,分析了现有数据密集型作业调度存在的问题。作者首先针对Gfarm数据网格中缺乏有效的作业管理和调度的情况,采用LSF中的作业调度插件机制来设计和实现了一个针对批模式数据密集型作业的Data-aware调度策略;同时,作者又针对基于访问代价的作业调度算法中忽视了处理节点上数据文件分布在调度时和处理时由于频繁的副本替换所导致的不同而对有效的调度所产生的影响,设计和实现了一个考虑作业等待队列中作业潜在行为的基于访问代价的调度算法。通过对这两个算法的实验和模拟,本文所提出的两个作业调度算法都具有较好的效果。 在空间数据网格的即插即用机制的研究中,分析了当前集群文件系统中的即插即用机制,认为当前存储设备的即插即用需要进一步探索存储设备上数据资源的即插即用和数据资源的无缝融合机制。作者针对这个问题,提出了一个空间数据网格中的即插即用协议。整个协议分为五层,从下至上依次包括:设备层、数据表示层、资源发现层、协同调度层和应用层。整个即插即用协议包含:设备动态上下线协议、设备访问控制协议、数据资源动态上下线协议和数据资源融合协议。 在空间数据网格的按需动态扩展的研究中,分析了当前动态扩展研究中的现状,认为动态扩展应该结合数据分析者的行为需求。如何将分析者的行为需求与数据网格中的数据文件的合理分布和存储空间的动态扩展进行结合是问题的核心。作者针对这个问题,提出了一个空间数据网格中的按需动态扩展协议。整个协议分为三层:信息采集层、决策制定层和决策执行层。整个协议包括:信息采集协议、决策制定策略和决策执行协议。 作者结合国家973项目子专题和国家自然科学基金的研究,给出了数据网格中的一些解决方案,通过模拟实验与分析认为是可行且有效的。
【学位授予单位】:

知网文化
【相似文献】
中国期刊全文数据库 前20条
1 曲明成;吴翔虎;廖明宏;杨孝宗;左德承;;一种数据网格存储模型与并行下载调度算法[J];高技术通讯;2010年01期
2 张瑞藜;王夙娟;;基于访问频率的网格副本创建策略[J];计算机时代;2011年06期
3 郑硕;李明楚;孙伟峰;;DRCSM:一种新的非集中副本一致性服务模型[J];小型微型计算机系统;2011年08期
4 李红岩;张忠华;;基于数据库技术的Authorware课件动态统计图实现方法[J];中国医学教育技术;2011年04期
5 ;[J];;年期
6 ;[J];;年期
7 ;[J];;年期
8 ;[J];;年期
9 ;[J];;年期
10 ;[J];;年期
11 ;[J];;年期
12 ;[J];;年期
13 ;[J];;年期
14 ;[J];;年期
15 ;[J];;年期
16 ;[J];;年期
17 ;[J];;年期
18 ;[J];;年期
19 ;[J];;年期
20 ;[J];;年期
中国重要会议论文全文数据库 前10条
1 张琦炜;杨江明;顾宁;杨根兴;刘振宇;;数据网格中的动态分布式多入口技术[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
2 张祖礼;何洪波;;基于数据网格的科普资源共享平台的设计与实现[A];创意科技助力数字博物馆[C];2011年
3 赵武清;许先斌;王卓薇;;一种基于权重的数据网格副本替换策略[A];第15届全国信息存储技术学术会议论文集[C];2008年
4 杨正球;;数据门户-资源管理系统建立的新方法[A];2003年通信软件技术学术年会论文集[C];2003年
5 孙文广;吴玲达;宋汉辰;张玉新;;基于红外卫星云图的云的三维表现[A];第一届建立和谐人机环境联合学术会议(HHME2005)论文集[C];2005年
6 陈庆奎;那丽春;;一个基于网格的并行Join算法[A];第二十一届中国数据库学术会议论文集(研究报告篇)[C];2004年
7 黄震春;;元数据适配器与面向空间信息应用的数据网格[A];2008年全国开放式分布与并行计算机学术会议论文集(上册)[C];2008年
8 王铁军;刘恒;周明天;;基于分布式生成树的副本定位服务的自适应性分析[A];中国电子学会第十六届信息论学术年会论文集[C];2009年
9 李志刚;肖侬;户家富;苏云;刘波;;基于XML的数据网格视图[A];第二十二届中国数据库学术会议论文集(技术报告篇)[C];2005年
10 韩宝玲;付长胜;付伟;赵英杰;肖侬;;BwP:数据网格中的一种更新传播算法[A];2008通信理论与技术新发展——第十三届全国青年通信学术会议论文集(下)[C];2008年
中国重要报纸全文数据库 前10条
1 国防科技大学 肖侬;编织“数据网格”[N];计算机世界;2002年
2 张孟军;全球科学家合力打造“国际数据网格”[N];科技日报;2003年
3 南凯 李华飚;构筑科学数据网格软件平台[N];计算机世界;2006年
4 胡其峰;抓住机遇 推动农业网格技术发展[N];光明日报;2007年
5 覃祖军 郭红锋;虚拟天文台步入应用[N];计算机世界;2007年
6 宋学军;巧选“文件模板”[N];中国电脑教育报;2003年
7 赵跃;网格技术推动科学数据发展[N];科技日报;2008年
8 Anne Zieger;下一代网格“主攻”应用集成[N];计算机世界;2004年
9 ;警惕病毒狂删文件[N];中国电脑教育报;2003年
10 本报记者 张亮;发展e-Science促进科研信息化(图)[N];科技日报;2005年
中国博士学位论文全文数据库 前10条
1 姜建华;数据网格几个关键技术的研究[D];吉林大学;2010年
2 邓勇;数据网格安全若干关键技术研究[D];南京邮电大学;2011年
3 曲明成;数据网格QoS保障与资源优化关键技术研究[D];哈尔滨工业大学;2011年
4 郭良敏;P2P文件共享系统中的副本技术研究[D];中国科学技术大学;2011年
5 Qaisar Rasool;数据网格中数据复制的研究[D];哈尔滨工业大学;2008年
6 刘瑰;面向海量信息处理领域的数据网格及其关键技术研究[D];解放军信息工程大学;2009年
7 孙海燕;数据网格副本管理关键技术研究[D];国防科学技术大学;2005年
8 吴长泽;数据网格中高可用性副本管理及性能优化研究[D];重庆大学;2007年
9 李静;数据网格的资源管理相关策略及算法研究[D];重庆大学;2007年
10 邢长明;基于因特网的资源共享模型及关键技术研究[D];山东师范大学;2010年
中国硕士学位论文全文数据库 前10条
1 王超伦;数据网格副本管理研究[D];哈尔滨工程大学;2010年
2 施晓烨;数据网格中副本管理策略研究[D];南京邮电大学;2011年
3 闫荞荞;基于量子进化算法的数据网格副本创建策略研究[D];南京信息工程大学;2012年
4 刘佳旭;基于蚂蚁算法的副本选择策略研究[D];辽宁工程技术大学;2010年
5 姜浩然;教育资源网格中的副本管理策略研究[D];山东师范大学;2012年
6 宋娅菲;基于竞标模式的云存储副本放置策略研究[D];华中师范大学;2012年
7 徐婧;云存储环境下副本策略研究[D];中国科学技术大学;2011年
8 张书铭;基于网格的并行传输机制与大数据量副本管理的研究[D];长春理工大学;2010年
9 李征来;无结构P2P网络副本一致性的研究[D];大连理工大学;2012年
10 姜鹏;基于分布式文件共享的网格文件复制策略的研究[D];吉林大学;2011年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978