收藏本站
《国防科学技术大学》 2005年
收藏 | 手机打开
二维码
手机客户端打开本文

数据网格副本管理关键技术研究

孙海燕  
【摘要】:信息技术的发展使政府、企业、教育科研、医疗卫生等各部门纷纷在Internet提供的信息服务平台上开展业务。由于Internet缺乏对数据共享和协同问题求解的有效支持,使上述应用领域中的很多信息系统存在资源部门割据、信息分散、数据难于查找、应用系统相互孤立、难以互联互通等问题。 数据网格(Data Grid)面向广域网异构环境,为用户建立分布、异构、海量数据的一体化访问、存储、传输、管理与服务架构,是实现广域网环境下数据共享和协同问题求解的有效途径。数据网格技术可以为政府、企业、教育科研、医疗卫生等领域中的大量数据提供有效管理和共享的途径。 面向上述应用领域的数据网格系统通常表现出如下特点:系统具有P2P结构;网络通信能力有限;各节点的存储能力有限等,我们将这种网络环境称之为“低端计算环境”。在数据网格系统中,复制技术被广泛采用以提高系统性能,缩短数据响应时间并降低网络带宽消耗,复制技术的引入带来了副本管理问题,而副本管理的效率直接影响了系统的性能。目前,副本管理问题是业界广泛关注的热点问题。为了提高运行在“低端计算环境”上的数据网格系统的性能,本文致力于研究适应低端计算环境的数据网格副本管理关键技术。 本文以系统性能、可用性和可扩展性为目标,针对低端数据网格系统的特点,开展低端数据网格系统中副本管理技术的研究。本文的主要贡献在于: 1.提出了NLPR数据网格复制模型,建立了数据网格系统中副本管理各类问题的统一描述,简化了副本管理问题的求解过程;提出了基于服务合成的副本管理服务框架SCRMSA,为面向不同应用领域的数据网格副本管理服务提供了一种开放、透明、灵活的实现方案;在此基础上,提出了数据网格系统管理模型DGRMSM,实现对数据网格副本的透明、可扩展、开放的管理。 2.提出了“存储联盟”的概念,并以此为基础提出了基于存储联盟的双层动态副本创建策略SADDRES,建立了存储联盟间利用缓存建立数据副本、存储联盟内根据用户访问历史合理分布数据的副本创建策略。 3.基于“存储联盟环”的结构,提出了层次式副本定位与选择机制SAHRLSM,主要包括副本目录SARRC、副本定位算法SAHRLM和副本选择算法SAHRSM,并实现了网格节点和存储联盟的动态性管理、副本目录的一致性维护等机制,具有负载均衡、可靠性高以及可扩展性好等优点。 4.为了实现对网格副本的一致性管理并屏蔽不同网格应用的差异,引入了副本一致性管理服务RCMS,为数据网格系统提供了分布、高效、灵活的副本一致性管理机制;基于低端数据网格系统的特点,提出了基于视图和版本的副本一致性管理策略VVRCOMS,该策略采用版本机制对副本进行管理,在保证用户视图一致性的前提下,具有较好的系统性能。
【学位授予单位】:国防科学技术大学
【学位级别】:博士
【学位授予年份】:2005
【分类号】:TP393.02

手机知网App
【引证文献】
中国期刊全文数据库 前2条
1 李飞;郭昌松;赵伯听;曾辉;;基于内容分发的数据网格副本创建策略[J];计算机应用研究;2012年10期
2 李田来;刘方爱;庄波;;基于GLOBUS的教育网格副本创建策略研究[J];计算机工程与设计;2008年15期
中国博士学位论文全文数据库 前6条
1 吴长泽;数据网格中高可用性副本管理及性能优化研究[D];重庆大学;2007年
2 梁鸿;基于地震资料处理的计算网格技术的研究[D];中国石油大学;2008年
3 刘乃文;Internet环境下的资源管理模型及算法研究[D];山东师范大学;2009年
4 宋玮;分布式存储系统中的节点自主性问题研究[D];华南理工大学;2010年
5 邢长明;基于因特网的资源共享模型及关键技术研究[D];山东师范大学;2010年
6 赵秀梅;对等网络路由优化及相关技术研究[D];山东师范大学;2013年
中国硕士学位论文全文数据库 前10条
1 王超伦;数据网格副本管理研究[D];哈尔滨工程大学;2010年
2 石飞燕;数据密集型计算中副本优化机制研究[D];武汉理工大学;2011年
3 江柳;HDFS下小文件存储优化相关技术研究[D];北京邮电大学;2011年
4 施晓烨;数据网格中副本管理策略研究[D];南京邮电大学;2011年
5 卢浩;无结构P2P网络副本一致性研究[D];大连理工大学;2011年
6 王剑;校园数据网格关键技术研究与设计[D];西北大学;2007年
7 马元元;信息网格中基于服务的副本管理机制研究[D];西北师范大学;2007年
8 郭兰图;网格环境下基于多Replica的数据管理与传输模型的研究[D];中国石油大学;2007年
9 郭晓梅;非结构化P2P网络资源一致性维护算法研究[D];湖南大学;2008年
10 李田来;基于GLOBUS的数据网格副本管理关键问题研究[D];山东师范大学;2008年
【参考文献】
中国期刊全文数据库 前2条
1 庞丽萍,陈勇,吴松,肖侬;数据网格环境下的一种动态备份模型[J];华中科技大学学报(自然科学版);2004年04期
2 钱德沛;网格技术与信息化建设[J];电子商务世界;2004年04期
【共引文献】
中国期刊全文数据库 前10条
1 陈勇;;基于网格技术的电子文件中心建设研究[J];档案学通讯;2008年05期
2 黄均才,王凤碧,李勇,吴跃,周明天;网格计算环境中的资源管理研究[J];东莞理工学院学报;2005年01期
3 李炯;罗光春;董仕;;OptorSim在安全数据网格复制策略中的应用[J];电子科技大学学报;2007年06期
4 王占杰;金全凯;;并行计算环境负载信息的动态监测及处理[J];大连理工大学学报;2005年S1期
5 吴桦,丁伟;基于奇异谱方法的网络行为分析[J];东南大学学报(自然科学版);2002年06期
6 金海,官象山,吴松,谢超;分布式存储系统中文件传输优化的设计与实现[J];华中科技大学学报(自然科学版);2005年01期
7 庞丽萍;朱楚波;吴松;熊慕舟;;广域存储虚拟化的一种基于最小代价副本管理模型[J];华中科技大学学报(自然科学版);2005年S1期
8 郝继红,陈鸣,赵洪华,张睿;NWS预测子系统的应用[J];解放军理工大学学报(自然科学版);2004年06期
9 张海洋,鞠九滨,胡亮;对NWS中资源性能预报算法的一个改进[J];吉林大学学报(理学版);2005年02期
10 胡艳华;王志斌;李健军;;网格计算中基于信任机制的层次任务调度模型[J];计算机工程与应用;2012年16期
中国重要会议论文全文数据库 前2条
1 罗立宇;;基于OGSA的电子商务中资源选择研究[A];信息经济与国民经济增长方式的转变——中国信息经济学会2006年学术年会论文集[C];2006年
2 姚远哲;方滨兴;刘欣然;何淼;王子娟;张露薇;;R-Net网格监测系统(RNMS)设计[A];全国网络与信息安全技术研讨会'2005论文集(上册)[C];2005年
中国博士学位论文全文数据库 前7条
1 赵东;网格计算环境中若干关键技术的研究[D];电子科技大学;2003年
2 张绍华;网格工作流关键技术研究[D];复旦大学;2004年
3 王治;面向PC环境的网格体系与关键技术研究[D];复旦大学;2006年
4 刘兵;基于Web服务组合的网格工作流研究[D];中国科学技术大学;2007年
5 谢夏;网格信息服务的性能及其模拟评估[D];华中科技大学;2006年
6 梁鸿;基于地震资料处理的计算网格技术的研究[D];中国石油大学;2008年
7 肖鹏;QoS约束下的网格资源协同分配方法研究[D];中南大学;2009年
中国硕士学位论文全文数据库 前10条
1 朱玉丹;基于非独立任务优先级的网格调度算法的研究[D];大连理工大学;2010年
2 陈昊成;基于网格计算的资源管理与分配系统的设计与实现[D];哈尔滨工业大学;2010年
3 是丽俐;云环境下多维属性驱动的资源可用性研究[D];中国科学技术大学;2011年
4 梁建煌;分布式计算中的可预测性监控[D];上海交通大学;2011年
5 孙晓彦;基于Agent技术的网格数据复制管理研究[D];南京理工大学;2004年
6 许伟;分布式系统中的主机负载预测与动态负载均衡研究[D];中南大学;2004年
7 陈勇;基于存储虚拟化的动态副本及资源管理系统研究[D];华中科技大学;2004年
8 潘亚军;TCP吞吐量测量方法研究[D];首都师范大学;2005年
9 马雪梅;分布式系统中主机负载预测[D];吉林大学;2005年
10 曹晓东;一种面向服务集群系统的负载均衡预测算法的研究[D];吉林大学;2005年
【同被引文献】
中国期刊全文数据库 前10条
1 张俊虎;杨冬青;唐世渭;;IFOG:数据网格上的缓冲索引架构[J];北京大学学报(自然科学版)网络版(预印本);2006年02期
2 闫晓东;徐惠民;徐雅静;刘连喜;陈宝丰;;基于价值模型的数据副本替换算法[J];北京邮电大学学报;2006年04期
3 弭伟;张春红;裘晓峰;曾志民;李漓春;;基于结构化P2P系统的SDYA负载均衡算法[J];北京邮电大学学报;2010年06期
4 杜海宁;;基于云计算的图书馆海量数据存储研究[J];图书与情报;2010年03期
5 那宝玉;张毓森;刘鹏;;基于网格技术的视频服务系统设计与实现[J];吉林大学学报(信息科学版);2008年02期
6 胡引翠;网格计算技术的应用及其发展趋势[J];测绘通报;2005年03期
7 张燕,赵岳松;OGSA架构下的网格服务研究[J];常州工学院学报;2004年06期
8 盛晋珩,王吉军,王海军,岳同启;协同设计过程的冲突管理[J];大连大学学报;2003年04期
9 鄢仁祥,高远;视频点播系统中信道调度问题综述[J];东北大学学报;2002年06期
10 李萍;;关于分布式异构数据库数据同步系统的研究[J];电大理工;2008年01期
中国重要报纸全文数据库 前1条
1 周瑞辉 冯登国;[N];计算机世界;2000年
中国博士学位论文全文数据库 前10条
1 蒋江;异构集群系统中基于进程迁移机制的负载平衡算法的研究[D];国防科学技术大学;2002年
2 曹鸿强;基于多经济智能主体的计算网格资源管理[D];中国人民解放军国防科学技术大学;2000年
3 赵东;网格计算环境中若干关键技术的研究[D];电子科技大学;2003年
4 侯孟书;基于P2P的分布式存储及其相关技术研究[D];电子科技大学;2005年
5 王雷;高性能并行计算机互联网络容错模型及其路由算法研究[D];湖南大学;2005年
6 栾翠菊;计算网格环境中任务管理的研究[D];浙江大学;2006年
7 刘亚杰;P2P流媒体内容分发关键技术研究[D];国防科学技术大学;2005年
8 章忠志;复杂网络的演化模型研究[D];大连理工大学;2006年
9 张艳;信息系统灾难备份和恢复技术的研究及实现[D];四川大学;2006年
10 史小冬;分布式文件系统高可用问题研究[D];中国科学院研究生院(计算技术研究所);2002年
中国硕士学位论文全文数据库 前10条
1 汪艳丽;无结构P2P环境下文件副本管理研究[D];大连理工大学;2010年
2 李波;基于Hadoop的海量图象数据管理[D];华东师范大学;2011年
3 金松昌;基于HDFS的多用户并行文件IO的设计与实现[D];国防科学技术大学;2010年
4 陈光明;面向SNMP的网络运行状态监测数据采集与管理技术研究[D];解放军信息工程大学;2011年
5 罗伟;一种基于竞标机制的网格资源管理模型[D];四川大学;2003年
6 杨曙锋;分布式并行文件系统的副本管理策略[D];电子科技大学;2003年
7 黄涛;基于Linux的分布式系统中的进程迁移技术的设计与实现[D];电子科技大学;2002年
8 张智强;交易系统高可用性研究[D];太原理工大学;2004年
9 罗庆超;分布式数据存储与备份的研究与实现[D];电子科技大学;2004年
10 江雪阳;基于P2P的分布存储系统的定位复制算法研究[D];国防科学技术大学;2003年
【二级引证文献】
中国期刊全文数据库 前10条
1 李玲;付园;麻晓珍;张海蓉;;云存储系统中数据冗余策略优化问题[J];吉林大学学报(信息科学版);2013年01期
2 宋玮;凌捷;;非服从性分布式系统中博弈分析法下的副本放置问题[J];桂林理工大学学报;2013年01期
3 刘田甜;李超;胡庆成;张桂刚;;云环境下多副本管理综述[J];计算机研究与发展;2011年S3期
4 连淑娟;孙波;魏云刚;肖永康;朱小明;;非结构化P2P网络副本一致性研究[J];计算机应用研究;2009年12期
5 赵秋云;罗省贤;魏乐;;网格环境下基于传输代价的副本优化策略[J];计算机应用研究;2010年04期
6 何志强;崔新会;郑艳娟;;分布式存储系统中动态主机发现协议的设计与实现——针对交通/治安卡口的应用[J];制造业自动化;2012年16期
7 李飞;郭昌松;赵伯听;曾辉;;基于内容分发的数据网格副本创建策略[J];计算机应用研究;2012年10期
8 赖锦辉;梁松;;基于层次化调度策略和动态数据复制的网格调度方法[J];计算机应用研究;2014年02期
9 张静;谢晓兰;聂绍辉;;网格平台下基于GT5的数据管理组件RLS的研究[J];软件导刊;2010年08期
10 沙恒;帖军;;基于hadoop子项目——Hive的云计算性能测试[J];软件导刊;2012年11期
中国重要会议论文全文数据库 前1条
1 陈彦名;杨晨笛;;云技术中基于链路状况选择大文件传输路径的设计与实现[A];第十七届全国青年通信学术年会论文集[C];2012年
中国博士学位论文全文数据库 前1条
1 曲明成;数据网格QoS保障与资源优化关键技术研究[D];哈尔滨工业大学;2011年
中国硕士学位论文全文数据库 前10条
1 郑硕;一种新的非集中副本一致性服务模型[D];大连理工大学;2010年
2 武聪;基于混合式P2P动态拓扑构造系统的应用研究[D];辽宁工程技术大学;2009年
3 杜艳;几类网络模型及路由算法研究[D];山东师范大学;2011年
4 石飞燕;数据密集型计算中副本优化机制研究[D];武汉理工大学;2011年
5 施晓烨;数据网格中副本管理策略研究[D];南京邮电大学;2011年
6 李文俊;基于P2P网络的安全备份系统研究与实现[D];解放军信息工程大学;2010年
7 韦举东;虚拟计算环境下空间数据副本一致性研究[D];中国石油大学;2011年
8 张梓钧;基于HADOOP架构的社保项目网络日志分析系统的研究[D];电子科技大学;2011年
9 刘飞;基于云计算的分布式存储系统的研究和应用[D];西安工业大学;2012年
10 林正国;非结构化纯P2P系统中副本问题的研究[D];西华大学;2009年
【相似文献】
中国期刊全文数据库 前10条
1 黄斌,李春江,肖侬,刘波,付伟;基于Cluster的数据网格请求代理服务器设计[J];计算机应用研究;2004年09期
2 王意洁,肖侬,任浩,卢锡城;数据网格及其关键技术研究[J];计算机研究与发展;2002年08期
3 杨东华,李建中,张文平;基于数据网格环境的连接操作算法[J];计算机研究与发展;2004年10期
4 侯松霞;鲁晓明;;基于数据网格的数字图书馆[J];科技情报开发与经济;2007年36期
5 王福业;高敬阳;危胜军;;基于PM-chord算法的数据网格副本定位方法[J];计算机工程;2009年02期
6 袁满;刘俊梅;刘铁良;李秀军;;基于模拟退火算法的数据网格副本部署策略[J];计算机工程;2009年17期
7 王大震,王淑静,宋瀚涛,潘浩;数据网格中的数据管理服务框架分析[J];计算机工程与设计;2004年01期
8 张建华,关佶红,王雷春,张俊;一种数据网格的元数据分类管理机制研究[J];武汉大学学报(信息科学版);2005年01期
9 侯松霞;;基于数据网格的数字化校园的实现[J];计算机与数字工程;2008年07期
10 秦振;郭小一;张维明;邓苏;刘青宝;;面向精确信息服务的数据网格体系研究[J];科学技术与工程;2007年09期
中国重要会议论文全文数据库 前10条
1 张琦炜;杨江明;顾宁;杨根兴;刘振宇;;数据网格中的动态分布式多入口技术[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
2 张祖礼;何洪波;;基于数据网格的科普资源共享平台的设计与实现[A];创意科技助力数字博物馆[C];2011年
3 赵武清;许先斌;王卓薇;;一种基于权重的数据网格副本替换策略[A];第15届全国信息存储技术学术会议论文集[C];2008年
4 杨正球;;数据门户-资源管理系统建立的新方法[A];2003年通信软件技术学术年会论文集[C];2003年
5 孙文广;吴玲达;宋汉辰;张玉新;;基于红外卫星云图的云的三维表现[A];第一届建立和谐人机环境联合学术会议(HHME2005)论文集[C];2005年
6 陈庆奎;那丽春;;一个基于网格的并行Join算法[A];第二十一届中国数据库学术会议论文集(研究报告篇)[C];2004年
7 黄震春;;元数据适配器与面向空间信息应用的数据网格[A];2008年全国开放式分布与并行计算机学术会议论文集(上册)[C];2008年
8 王铁军;刘恒;周明天;;基于分布式生成树的副本定位服务的自适应性分析[A];中国电子学会第十六届信息论学术年会论文集[C];2009年
9 李志刚;肖侬;户家富;苏云;刘波;;基于XML的数据网格视图[A];第二十二届中国数据库学术会议论文集(技术报告篇)[C];2005年
10 韩宝玲;付长胜;付伟;赵英杰;肖侬;;BwP:数据网格中的一种更新传播算法[A];2008通信理论与技术新发展——第十三届全国青年通信学术会议论文集(下)[C];2008年
中国重要报纸全文数据库 前10条
1 国防科技大学 肖侬;编织“数据网格”[N];计算机世界;2002年
2 张孟军;全球科学家合力打造“国际数据网格”[N];科技日报;2003年
3 南凯 李华飚;构筑科学数据网格软件平台[N];计算机世界;2006年
4 胡其峰;抓住机遇 推动农业网格技术发展[N];光明日报;2007年
5 覃祖军 郭红锋;虚拟天文台步入应用[N];计算机世界;2007年
6 赵跃;网格技术推动科学数据发展[N];科技日报;2008年
7 Anne Zieger;下一代网格“主攻”应用集成[N];计算机世界;2004年
8 本报记者 张亮;发展e-Science促进科研信息化(图)[N];科技日报;2005年
9 刘林森;互联网正在“网”遍世界[N];中国社会报;2007年
10 清华大学计算机系高性能所 刘鹏;卓尔不凡的网格应用[N];计算机世界;2004年
中国博士学位论文全文数据库 前10条
1 姜建华;数据网格几个关键技术的研究[D];吉林大学;2010年
2 邓勇;数据网格安全若干关键技术研究[D];南京邮电大学;2011年
3 曲明成;数据网格QoS保障与资源优化关键技术研究[D];哈尔滨工业大学;2011年
4 Qaisar Rasool;数据网格中数据复制的研究[D];哈尔滨工业大学;2008年
5 刘瑰;面向海量信息处理领域的数据网格及其关键技术研究[D];解放军信息工程大学;2009年
6 孙海燕;数据网格副本管理关键技术研究[D];国防科学技术大学;2005年
7 吴长泽;数据网格中高可用性副本管理及性能优化研究[D];重庆大学;2007年
8 李静;数据网格的资源管理相关策略及算法研究[D];重庆大学;2007年
9 邢长明;基于因特网的资源共享模型及关键技术研究[D];山东师范大学;2010年
10 韦亚星;基于数据网格的地理空间信息协作共享系统研究[D];中国科学技术大学;2007年
中国硕士学位论文全文数据库 前10条
1 鄢安娜;基于数据网格的输配电一体化数据管理研究[D];华北电力大学;2013年
2 时孙媛;气象数据网格中的资源组织和发现机制研究[D];南京信息工程大学;2013年
3 闫荞荞;基于量子进化算法的数据网格副本创建策略研究[D];南京信息工程大学;2012年
4 张滋业;数据网格技术在故障诊断中的应用研究[D];东北大学;2008年
5 王超伦;数据网格副本管理研究[D];哈尔滨工程大学;2010年
6 刘丹;数据网格中独立任务的调度及其算法研究[D];湖南大学;2010年
7 李宁;数据网格环境下基于融合算法的副本选择策略研究[D];河南大学;2010年
8 常帅;基于GridFTP协议的数据传输性能分析与研究[D];辽宁工业大学;2013年
9 丁林枭;多源监视系统的设计与实现[D];中国地质大学(北京);2011年
10 付伟;数据网格中元信息服务系统的设计与实现[D];国防科学技术大学;2003年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026