收藏本站
《中国科学院研究生院(计算技术研究所)》 2008年
收藏 | 手机打开
二维码
手机客户端打开本文

分布式文件系统可扩展元数据服务关键问题研究

杨德志  
【摘要】: 文件系统元数据描述文件系统及其管理的文件,其访问效率是文件数据访问性能的关键因素。在海量网络存储环境中,随着系统应用的多样化、应用需求规模的不断扩大,如何充分利用系统资源,提供高扩展能力的文件系统元数据服务,成为大规模分布式文件系统研究的热点问题。 多种典型应用的访问统计结果表明,文件系统元数据具有活跃性、局部性、动态性、需要更改文件系统的多元数据请求的比例很少等特点。基于此特性,本文的主要创新点是,提出动态灵活的分布式文件系统元数据服务机制和策略,支持文件系统元数据服务的动态扩展。它包括元数据存储和访问两个方面: 1)集中共享的元数据虚拟存储模型。以虚拟存储技术支持的存储资源透明扩展、分层的存储资源管理和动态的元数据资源分配、元数据对所有请求服务器可见等为基础,元数据存储服务有效分离元数据的存储和访问,为动态灵活的元数据请求服务提供支持。 2)动态灵活的元数据请求服务机制和策略。文件系统元数据表现出活跃性、局部性和动态性等特征。动态分布决策将文件系统名字空间结构与元数据类型相结合,由用户访问动态驱动活跃元数据的请求分布。初步的对比评估结果表明,相对于目录子树分区法,其请求处理能力将提高30%左右。 动态灵活的元数据服务机制为服务扩展能力提供基础。为解决两阶段提交等传统协议的不足,本文提出通过动态迁移协议,集中处理跨服务器请求,有效保证请求的原子性。在最坏情况下,动态迁移协议也能够减少25%的处理时延,且其错误恢复的影响也小得多。 针对传统和新兴应用的实验验证了元数据服务扩展能力的有效性。针对生物信息计算BLAST的评估表明,元数据服务器的增加将带来20%左右的元数据服务时间降低。通过对系统实现的优化,将可能获得近线性的元数据服务扩展能力。同时,实验结果还为未来的工作方向提供了参考:1)原型系统的实现优化;2)自适应的元数据请求分布决策模型;3)系统结构的优化,以更好支持超大规模的系统扩展需求。
【学位授予单位】:中国科学院研究生院(计算技术研究所)
【学位级别】:博士
【学位授予年份】:2008
【分类号】:TP316

手机知网App
【引证文献】
中国硕士学位论文全文数据库 前2条
1 龚高晟;通用分布式文件系统的研究与改进[D];华南理工大学;2010年
2 王旭东;面向海量遥感影像数据的分布式文件系统管理技术研究[D];兰州交通大学;2012年
【参考文献】
中国期刊全文数据库 前3条
1 熊劲,范志华,马捷,唐荣锋,李晖,孟丹;DCFS2的元数据一致性策略[J];计算机研究与发展;2005年06期
2 杨德志,黄华,张建刚,许鲁;大容量、高性能、高扩展能力的蓝鲸分布式文件系统[J];计算机研究与发展;2005年06期
3 杜聪,徐志伟;COSMOS文件系统的性能分析[J];计算机学报;2001年07期
中国博士学位论文全文数据库 前2条
1 熊劲;大规模机群文件系统的关键技术研究[D];中国科学院研究生院(计算技术研究所);2006年
2 黄华;蓝鲸分布式文件系统的资源管理[D];中国科学院研究生院(计算技术研究所);2005年
【共引文献】
中国期刊全文数据库 前10条
1 关志涛;曹元大;侯祥松;张常有;;非结构化P2P网络中基于流行度的层次式副本创建策略[J];大连海事大学学报;2007年04期
2 薛志强;刘鹏;文艾;周游;许闯;;分布式文件系统管理策略研究[J];电脑知识与技术;2011年01期
3 蒙安泰;;分布式文件系统中元数据管理机制的研究[J];电脑知识与技术;2011年35期
4 冯幼乐;朱六璋;;CEPH动态元数据管理方法分析与改进[J];电子技术;2010年09期
5 刘鹏曦;许王燕;;一种冗余地理数据存储系统[J];大众科技;2014年01期
6 雷力军;马嘉骏;别伟平;;一种新型的遥感影像数据组织与管理方法研究[J];港工技术;2014年01期
7 程欣,刘宏伟,左德承,金峰,杨孝宗;A distributed deadlock detection algorithm for mobile computing system[J];Journal of Harbin Institute of Technology;2005年05期
8 杨立身;王中海;;Linux虚拟文件系统内核机制研究与改进策略[J];海南大学学报(自然科学版);2007年04期
9 伍卫国;张虎;方敏;万群;钱德沛;;并行文件系统客户端缓存对系统I/O性能的影响[J];华中科技大学学报(自然科学版);2006年S1期
10 ;Mobile agent-enabled framework for structuring and building distributed systems on the internet[J];Science in China(Series F:Information Sciences);2006年06期
中国重要会议论文全文数据库 前2条
1 张晓华;张至柔;;基于网络存储备份技术的高校广义数据中心架构研究[A];2008'中国信息技术与应用学术论坛论文集(二)[C];2008年
2 罗志明;张大华;王电钢;常健;;电力分布式云存储关键技术研究[A];2012年电力通信管理暨智能电网通信技术论坛论文集[C];2013年
中国博士学位论文全文数据库 前10条
1 张伟;分布式大规模虚拟环境中的序一致性[D];国防科学技术大学;2010年
2 常青;瘦型服务器及个人/家庭事务处理应用研究[D];太原理工大学;2011年
3 周航军;分布式大规模虚拟环境消息序一致性时间管理技术研究[D];国防科学技术大学;2011年
4 侯昉;海量网络存储系统中的多级缓存技术研究[D];华南理工大学;2011年
5 岳利群;基于分布式存储的虚拟地理环境关键技术研究[D];解放军信息工程大学;2011年
6 李彭军;医学影像云服务平台基础架构研究与实践[D];南方医科大学;2011年
7 程欣;面向环和结的分布式死锁检测算法研究[D];哈尔滨工业大学;2006年
8 黄华;蓝鲸分布式文件系统的资源管理[D];中国科学院研究生院(计算技术研究所);2005年
9 邵斌;高效的操作转换一致性维护方法研究[D];复旦大学;2010年
10 杨永全;饮食健康中的食物体积估算云计算技术研究[D];中国海洋大学;2013年
中国硕士学位论文全文数据库 前10条
1 张聪萍;钱塘分布式文件存储系统性能优化[D];浙江大学;2011年
2 陈建中;以太网多样转发机制的合一性设计[D];杭州电子科技大学;2011年
3 李宽;基于HDFS的分布式Namenode节点模型的研究[D];华南理工大学;2011年
4 程名;面向海量数据的分布式文件系统设计和实现[D];华中科技大学;2010年
5 李欣;分布式文件系统中元数据管理策略的研究[D];华中科技大学;2010年
6 陆文彬;基于移动云计算环境的缓存模型及其一致性维护策略[D];中山大学;2011年
7 张红林;分布式文件系统中集中安全管理服务器设计与实现[D];华中科技大学;2011年
8 殷超;一个人力资源管理系统的设计与实现[D];华中科技大学;2011年
9 程倩;基于海量服务技术的音乐盒背景音乐项目的应用研究[D];华中科技大学;2010年
10 战科宇;分布式文件系统元数据服务器高可用设计与实现[D];上海交通大学;2012年
【同被引文献】
中国期刊全文数据库 前10条
1 倪慧珠;邱新忠;曹先革;;空间数据库引擎SDE的研究[J];测绘工程;2006年01期
2 李光师;徐全生;史新慧;;基于Oracle 10g Spatial的空间栅格数据的存储与管理[J];地理空间信息;2007年02期
3 林木辉,林锦贤,林凌;基于可扩展、高性能分布式文件系统的网络存储方式的研究与实现[J];福建电脑;2005年09期
4 刘兆春,李光辉,王庆国,柴守海;并行文件系统PVFS[J];信息技术;2005年04期
5 杨德志,黄华,张建刚,许鲁;大容量、高性能、高扩展能力的蓝鲸分布式文件系统[J];计算机研究与发展;2005年06期
6 李世畅,杨浩澜,李世亚,陶洋;NAS存储技术的研究与应用[J];计算机工程与应用;2003年13期
7 刘朝斌;分布式异构存储网络安全技术的研究[J];计算机工程与应用;2004年29期
8 宋江洪,赵忠明;图像分块分层结构在海量数据处理中的应用[J];计算机工程与应用;2004年33期
9 刘柯萍;危韧勇;谷科;;一种解决P2P网络路由热点问题的策略[J];计算机工程与应用;2007年06期
10 余寅辉;余镇危;杨传栋;张英;;SAN存储系统的性能分析模型[J];计算机工程;2007年10期
中国博士学位论文全文数据库 前1条
1 谭支鹏;对象存储系统副本管理研究[D];华中科技大学;2008年
中国硕士学位论文全文数据库 前4条
1 贾鹏;栅格图像数据库引擎的设计与实现[D];中国人民解放军信息工程大学;2005年
2 龚玮;对象存储文件系统的设计与实现[D];华中科技大学;2006年
3 刘露;全球海量遥感影像数据的分布式管理技术研究[D];国防科学技术大学;2007年
4 肖培棕;分布式文件系统元数据负载均衡技术研究与实现[D];中国科学技术大学;2009年
【二级引证文献】
中国期刊全文数据库 前1条
1 蒙安泰;;分布式文件系统中元数据管理机制的研究[J];电脑知识与技术;2011年35期
中国博士学位论文全文数据库 前1条
1 赵铁柱;分布式文件系统性能建模及应用研究[D];华南理工大学;2011年
中国硕士学位论文全文数据库 前5条
1 徐婧;云存储环境下副本策略研究[D];中国科学技术大学;2011年
2 张丽君;一种无主控制的云存储架构的研究[D];大连理工大学;2011年
3 张舒文;数据中心视频流传输与存储技术的研究与实现[D];北京邮电大学;2012年
4 匡士杰;云存储环境下分布式文件系统的副本策略研究[D];电子科技大学;2013年
5 张丹;HDFS中文件存储优化的相关技术研究[D];南京师范大学;2013年
【二级参考文献】
中国期刊全文数据库 前10条
1 AL;内存储器的革命——非易失性MRAM技术解析[J];电脑;2005年03期
2 王耘波 ,李东 ,郭冬云;几种新型非易失性存储器[J];电子产品世界;2004年03期
3 廖专崇 ,黄俊义;存储技术的现状与未来[J];电子产品世界;2004年Z1期
4 杨德志,黄华,张建刚,许鲁;大容量、高性能、高扩展能力的蓝鲸分布式文件系统[J];计算机研究与发展;2005年06期
5 黄华,张建刚,许鲁;蓝鲸分布式文件系统的分布式分层资源管理模型[J];计算机研究与发展;2005年06期
6 田颖,许鲁;分布式文件系统中的负载平衡技术[J];计算机工程;2003年19期
7 黄华;张敬亮;张建刚;许鲁;;蓝鲸分布式文件系统的物理资源管理模型[J];计算机工程;2006年06期
8 卫建军;王敏;李静;许鲁;;基于对象的多种资源管理系统[J];计算机工程;2006年07期
9 杜聪,徐志伟;COSMOS文件系统的性能分析[J];计算机学报;2001年07期
10 王敏,李静,范中磊,许鲁;一种虚拟化资源管理服务模型及其实现[J];计算机学报;2005年05期
【相似文献】
中国期刊全文数据库 前10条
1 张子鹏;刘海涛;管海兵;;采用信任管理的分布式文件系统TrustFs[J];计算机工程;2009年01期
2 陈建荣;傅黎;;Novell网络环境下分布式文件系统的设计与实现[J];海军工程大学学报;1993年03期
3 李相娜;曹强;赵旺;魏沁祺;;加快分布式文件系统元数据访问的研究与实现[J];微处理机;2008年02期
4 刘伟;刘露;陈荦;钟志农;;海量遥感影像数据存储技术研究[J];计算机工程;2009年05期
5 何公明;张元涛;;面向数字媒体的高性能分布式存储系统的研究与应用[J];广播电视信息;2009年10期
6 周建强;薛行;徐希豪;杨培根;孙钟秀;;分布式文件系统NDFS的设计和实现[J];计算机研究与发展;1990年07期
7 许春聪;黄小猛;吴诺;孙宁伟;杨广文;;分布式文件系统存储介质评测与分析[J];计算机学报;2010年10期
8 李桂萍;;云计算的两大特性:虚拟化、分布式[J];通信世界;2011年16期
9 张维庆,袁宏春;基于E-mail的分布式文件系统(MDFS)[J];福建电脑;2004年07期
10 黄华,张建刚,许鲁;蓝鲸分布式文件系统的分布式分层资源管理模型[J];计算机研究与发展;2005年06期
中国重要会议论文全文数据库 前8条
1 邢海韬;黄孜祺;肖健;;应用动态管理技术优化海量数据管理[A];广西计算机学会2008年年会论文集[C];2008年
2 洪穗;;微软WINDOWS Server 2003 R2分布式文件系统解决方案分析[A];中国新闻技术工作者联合会2008年学术年会论文集(上)[C];2008年
3 华清;黄林鹏;;基于分片、松耦合的分布式文件系统的设计与实现[A];2006年全国开放式分布与并行计算学术会议论文集(二)[C];2006年
4 朱平;朱建涛;高剑刚;蒋金虎;;高性能计算存储关键技术研究[A];2010年第16届全国信息存储技术大会(IST2010)论文集[C];2010年
5 付伟;肖侬;卢锡城;;GridDenFS:一种基于聚集与虚拟视图的网格文件系统[A];第二十四届中国数据库学术会议论文集(研究报告篇)[C];2007年
6 程果;陈荦;景宁;赵亮;左怀玉;;一种遥感影像的层次化组织分布式存储管理方法[A];第二十五届中国数据库学术会议论文集(一)[C];2008年
7 周大;钱岭;郭磊涛;齐骥;;HugeTable:一种面向电信行业的云数据仓库[A];CCF NCSC 2011——第二届中国计算机学会服务计算学术会议论文集[C];2011年
8 张学红;刘志芳;;云存储技术研究与探讨[A];全国数字媒体技术专业建设与人才培养研讨会论文集[C];2011年
中国重要报纸全文数据库 前10条
1 ;分布式文件系统一瞥[N];网络世界;2002年
2 王春海 刘立;分布式文件系统在网络中的应用[N];电脑报;2004年
3 本报记者 于翔;“大数据”的大承诺[N];网络世界;2010年
4 丘永萍;云存储是一种服务[N];中国城乡金融报;2010年
5 本报记者 刘箐箐;Informatica:大数据带来大机遇[N];计算机世界;2011年
6 孙定;云计算、大数据与Hadoop[N];计算机世界;2011年
7 本报记者 马文方;Hadoop:云中起舞的小象[N];中国计算机报;2010年
8 中兴通讯;云存储铺就海量数据之路[N];通信产业报;2011年
9 ;Windows Server2003的10个特点[N];计算机世界;2003年
10 本报记者 小白;存储网格步入实用[N];计算机世界;2004年
中国博士学位论文全文数据库 前9条
1 赵铁柱;分布式文件系统性能建模及应用研究[D];华南理工大学;2011年
2 李彭军;医学影像云服务平台基础架构研究与实践[D];南方医科大学;2011年
3 林琳;基于网格数据交换区的网格作业性能优化[D];吉林大学;2011年
4 黄华;蓝鲸分布式文件系统的资源管理[D];中国科学院研究生院(计算技术研究所);2005年
5 杨永全;饮食健康中的食物体积估算云计算技术研究[D];中国海洋大学;2013年
6 郭羽成;MPI高性能云计算平台关键技术研究[D];武汉理工大学;2013年
7 涂旭东;基于对象的并行文件系统接口语义扩展研究[D];华中科技大学;2011年
8 李冰;云计算环境下动态资源管理关键技术研究[D];北京邮电大学;2012年
9 陈军;基于G/S模式的空间分析云服务关键技术研究[D];成都理工大学;2012年
中国硕士学位论文全文数据库 前10条
1 龚高晟;通用分布式文件系统的研究与改进[D];华南理工大学;2010年
2 李书鹏;分布式文件系统在云存储环境下的若干问题研究[D];中国科学技术大学;2011年
3 周昶;基于对象分布式文件系统的存储缓存研究[D];杭州电子科技大学;2011年
4 许敏;分布式文件系统容错机制的研究与实现[D];电子科技大学;2012年
5 景蕊;分布式文件系统下数据校验策略的研究与改进[D];吉林大学;2013年
6 李颖;基于分布式文件系统的农业数据云存储研究[D];山东农业大学;2013年
7 王敬轩;分布式文件系统存储效率优化研究[D];华中科技大学;2013年
8 廖舒恬;安全对象分布式文件系统的设计与实现[D];华中科技大学;2013年
9 赵黎斌;面向云存储的分布式文件系统关键技术研究[D];西安电子科技大学;2011年
10 胡振欣;分布式文件系统中的软件开发管理[D];上海交通大学;2012年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026