收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

本地文件系统数据更新模式研究

陈杰  
【摘要】:文件系统的主要作用是组织和存取用户数据。文件系统在磁盘上组织用户数据的时候一般涉及到多个数据结构,这些数据结构之间存在一致性关联。文件系统在将内存中修改的数据写回磁盘时一般使用两种基本策略:原地更新和异地更新。原地更新是指将存储介质上的数据块读取到内存,进行修改,然后再写回到其原始位置。而异地更新是指将存储介质上的数据读取到内存,进行修改,然后写到一个新位置(这个过程中不覆盖旧数据)。文件系统进行数据更新时需要确保磁盘上的文件系统的各个数据结构在更新之后仍然处于一致的状态,这个更新过程面临的最大挑战是系统可能会随时崩溃。为了解决这个问题,学术界提出了多种文件系统更新模式,这些更新模式大致可以划分为五类:无序原地更新、有序原地更新、日志更新、异地更新以及混合更新。在这五类更新模式中,应用最广泛、影响最大的是日志更新和异地更新。然而这两种更新模式自身的固有问题却很少被学术界深入分析和研究。 针对日志更新固有的写两次问题,提出了一种新的智能日志更新模式。该模式的核心思想是拦截上层文件系统发往底层存储设备的I/O请求,然后将这些I/O请求智能的重定向到日志空间和文件系统空间。其主要涉及四项技术:(1)智能探测上层文件系统的类型,并提取磁盘上空间分配信息;(2)智能识别文件系统发往底层存储设备的写请求是否是覆盖性写,若是覆盖性写则将其写到日志空间,否则将其原地更新到文件系统空间;(3)智能识别文件系统发往底层存储设备的读请求的目标磁盘块是否已被写到日志空间,若是则将读请求重定向到日志空间,否则直接发到文件系统空间;(4)在合适的时机将日志空间中保存的数据写回到文件系统空间。在Ext3的基础上实现了一个原型系统,对其性能进行实测,并分别同Ext3的数据日志(data journal)模式和有序日志(ordered)模式进行对比。实验表明,该智能日志原型系统突破了现有系统在提供版本级一致性和性能上不能兼顾的难题,既确保了版本级一致性,又达到类似有序日志运行模式的性能。 针对异地更新固有的递归更新问题,提出了一种递归更新的分析模型,并使用该模型对递归更新问题进行了系统研究。首先针对单一B树的递归更新问题进行建模,分析其可能导致的写放大效应,然后将该模型推广到典型的写时复制(采用异地更新策略)文件系统中。通过仔细设计的实验,对该模型的正确性进行了验证。之后,通过对该模型进行模拟计算,发现被存取文件在文件系统中的分布情况是影响整个文件系统的递归更新写放大效应的决定性因素。另外进一步研究发现写放大效应也会被其它因素所影响,包括存取的文件数量、文件系统中已有文件的数量以及文件系统树的空间使用率等。 针对异地更新固有的递归更新问题,提出了一种同时支持原地更新和异地更新的文件系统,使用该系统对递归更新进行实证研究,揭示出影响文件系统写放大效应和性能的新现象和新规律。以BTRFS文件系统(本身为写时复制文件系统,采用异地更新策略)作为研究对象,对其进行扩展以同时支持原地更新和异地更新两种更新模式,然后通过复杂全面的对照实验,分别考察在不同的工作负载和存储设备上这两种更新模式在性能和写放大方面各有什么样的差异,通过这些差异来分析递归更新的实际影响。实验结果表明,在单一I/O写操作测试中,递归更新会导致29.5倍的写放大以及71%的性能降级;而在邮件服务器工作负载测试中,递归更新会导致18.3倍的写放大以及33%的性能降级。 研究结果对于下一代高性能文件系统的设计与实现具有重要的参考意义。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 ;文件、文件系统、文件库[J];电子科技文摘;2001年01期
2 钟忻,慕春棣;基于闪存的文件系统的实现[J];计算机工程与应用;2003年24期
3 刘欣;浅谈HP小型机文件维护经验[J];天津通信技术;2004年02期
4 景志洁,朱建涛;基于直接数据访问的并行文件系统[J];计算机工程;2004年S1期
5 曾碧卿,陈敏,邓会敏,曾志文;一种基于集群的新型并行文件系统研究[J];信息技术;2005年08期
6 曾碧卿,陈志刚,吕西红,曾志文;集群计算中并行文件系统的设计研究[J];微电子学与计算机;2005年03期
7 胥怡心;张其善;;智能IC卡文件系统的设计与实现[J];微计算机应用;2007年01期
8 吴俊军;朱建新;白喆;;一种改进的轻量级嵌入式安全文件系统模型[J];计算机应用;2008年01期
9 赵小平;李海涛;;中国石油集团公司电子文件系统实施总结及问题分析[J];甘肃科技;2008年01期
10 张军伟;贾瑞勇;贾亚军;张建刚;许鲁;;蓝鲸集群文件系统中资源交互一致性协议[J];计算机工程;2008年11期
11 焦磊;张延园;;闪存文件系统的快速挂载机制设计与实现[J];计算机工程;2008年18期
12 黄荣荣;舒继武;陈康;肖达;;基于连续多版本的可审计文件系统[J];计算机研究与发展;2009年11期
13 石平;刘椿;石松;;多用户文件系统的设计与实现[J];科技信息;2010年15期
14 刘明;张军平;;并行文件系统的应用探讨[J];软件;2010年11期
15 周清杰;黄晋英;马航;崔晓静;;混合文件系统在嵌入式智能车辆控制器中的应用[J];机械管理开发;2011年01期
16 张在贵;张立强;李瑞东;文中领;张海涛;;一种适用于集群文件系统分级存储的分布式锁设计与分析[J];计算机研究与发展;2012年S1期
17 肖伟;赵以爽;;并行文件系统简介及主流产品对比[J];邮电设计技术;2012年07期
18 王雅楠;陈香兰;代栋;孙明明;周学海;;基于镜像的在线文件系统检查工具的研究与实现[J];计算机系统应用;2013年08期
19 孙玉方;文件系统的结构设计[J];计算机学报;1983年03期
20 武北虹,邢汉承,黄大海;一个基于非对称硬件结构的对称式文件系统[J];软件学报;1996年01期
中国重要会议论文全文数据库 前10条
1 谢菲;钱曙霞;;并行文件系统技术在新华社奥运报道系统中的实现及应用[A];中国新闻技术工作者联合会2008年学术年会论文集(上)[C];2008年
2 冯新国;陶志成;;基于文件系统的封锁机制[A];第十一届全国数据库学术会议论文集[C];1993年
3 仇建伟;郑红;;适用于视频文件系统的有效调度方法[A];中国图象图形科学技术新进展——第九届全国图象图形科技大会论文集[C];1998年
4 王永瑞;熊剑平;;基于CF卡的特定FAT文件系统的软硬件设计与实现[A];2008中国仪器仪表与测控技术进展大会论文集(Ⅲ)[C];2008年
5 高杰;陆应华;陈世文;;基于文件过滤驱动的信息保护研究[A];教育部中南地区高等学校电子电气基础课教学研究会第二十届学术年会会议论文集(下册)[C];2010年
6 卢雪山;戴华东;颜跃进;;Ext文件系统检测和修复工具的研究与改进[A];2010年第16届全国信息存储技术大会(IST2010)论文集[C];2010年
7 郑思;杨尹;;Checksum技术在文件系统中应用的研究[A];全国第20届计算机技术与应用学术会议(CACIS·2009)暨全国第1届安全关键技术与应用学术会议论文集(下册)[C];2009年
8 汪黎;章文嵩;杨学军;;Cfslight:一个新型的轻量级对象存储集群文件系统[A];2006年全国开放式分布与并行计算学术会议论文集(一)[C];2006年
9 魏环宇;阳国贵;;一个基于数据库的文件系统(XFS)的设计与实现[A];2008通信理论与技术新进展——第十三届全国青年通信学术会议论文集(上)[C];2008年
10 沈志荣;薛矛;薛巍;舒继武;;Corslet安全文件系统的分析和优化[A];2010年第16届全国信息存储技术大会(IST2010)论文集[C];2010年
中国博士学位论文全文数据库 前10条
1 陈杰;本地文件系统数据更新模式研究[D];华中科技大学;2014年
2 谈华芳;基于共享对象存储设备的并行文件系统研究[D];中国科学院研究生院(计算技术研究所);2005年
3 夏鹏;文件系统语义分析技术研究[D];华中科技大学;2011年
4 熊劲;大规模机群文件系统的关键技术研究[D];中国科学院研究生院(计算技术研究所);2006年
5 刘立坤;海量文件系统元数据查询方法与技术[D];清华大学;2011年
6 涂旭东;基于对象的并行文件系统接口语义扩展研究[D];华中科技大学;2011年
7 孙凝晖;可扩展I/O的研究和参考实现[D];中国科学院研究生院(计算技术研究所);1999年
8 徐虎;基于SAN的安全单映像Cluster文件系统关键技术的研究[D];国防科学技术大学;2003年
9 常青;瘦型服务器及个人/家庭事务处理应用研究[D];太原理工大学;2011年
10 李庆虎;基于P2P架构的网格文件系统研究[D];清华大学;2004年
中国硕士学位论文全文数据库 前10条
1 顾喜梅;文件系统及磁盘管理实现机制深入研究[D];南京航空航天大学;2002年
2 李永盛;基于并行文件系统的集群高可用性研究与应用[D];中国科学院研究生院(沈阳计算技术研究所);2008年
3 赵水清;基于对象客户端文件系统的设计及关键技术[D];华中科技大学;2007年
4 刘洋;闪存文件系统的底层结构与性能研究[D];复旦大学;2009年
5 皮长蒂;基于过滤驱动的安全文件系统的研究与实现[D];电子科技大学;2010年
6 苏鹏;基于智能卡的闪存文件系统的研究[D];武汉科技大学;2010年
7 毛勇强;基于日志结构的嵌入式文件系统研究与应用[D];华中师范大学;2006年
8 苏华龙;日志结构文件系统在嵌入式系统上的应用[D];上海交通大学;2007年
9 路美娟;个人按需软件服务中的文件系统虚拟化技术[D];清华大学;2008年
10 江科;面向服务器的分布式并行文件系统[D];电子科技大学;2002年
中国重要报纸全文数据库 前10条
1 谷治平;文件系统———结合实际重在内容[N];中国医药报;2003年
2 江苏 王志军;磁盘的文件系统[N];电脑报;2001年
3 张群英;超级文件系统规模再突破[N];网络世界;2006年
4 ;施乐公司推出顶级数码工程文件系统[N];网络世界;2000年
5 凡妮;IBM TotalStorage SAN文件系统实现数据共享[N];电脑商报;2004年
6 ;共享单一文件系统[N];网络世界;2005年
7 黑龙江 马宪廷;玩转文件系统格式转换[N];电脑报;2003年
8 记者 杨婧瀚;管道公司召开电子文件系统启动视频会[N];石油管道报;2007年
9 乐天编译;近距离观看Snow Leopard Server[N];计算机世界;2008年
10 ;集群储存技术解决“大”问题[N];计算机世界;2004年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978