收藏本站
《华中科技大学》 2006年
收藏 | 手机打开
二维码
手机客户端打开本文

一种自适应海量存储系统组织策略及关键技术研究

赵振  
【摘要】: 数字化信息爆炸性的增长引发了IT技术的第三次发展浪潮——存储技术浪潮。新的技术浪潮促进了网络存储技术的发展,尤其作为网络存储技术代表的NAS和SAN技术,一经提出便获得了飞速发展。但实际应用中,这些方法的局限性也日渐呈现,其可扩展性、可管理性成为构建更大规模存储系统的瓶颈。文中介绍了一种融合面向对象存储和P2P节点自组织技术的存储网络系统——自适应的海量存储系统(SASS: self-adaptive storage system),并对构建这种系统的若干关键技术进行了研究。 与传统的存储系统相比,这一系统的特点主要体现在高度的可扩展性、高度易管理性和逐步提高的系统性能。与传统的基于块设备的系统不同,SASS结合面向对象存储技术,以文件为粒度进行存储空间分配,消除了系统对异构设备的敏感性,降低了系统的扩展成本。同时具体文件的元数据管理负担分布于各个节点,整个系统的元数据管理更加简洁。SASS通过各节点保存一定冗余信息,在少量存储设备,特别是个别关键节点失效情况下,依然能够进行访问,并且能够依靠自身信息完成关键节点信息重构。同时,根据内外条件变化,各节点以及节点间进行不间断适应性调整。这意味节点具有高度自治特性,对中心管理依赖很低,整个系统具有高度自动适应特征和易管理特性。SASS使用基本能够满足负载均衡的存储空间分配策略,同时依据设备特性、文件访问特性等信息对文件分布调整,充分利用所有设备的能力;通过数据相关性挖掘,获取用户访问习惯等信息,并根据取得信息对系统内部,如数据存放、cache等策略进行调整,适应外部访问特性的变化,始终对外提供优秀的整体性能。 研究内容具体包括以下几个方面。 在阐述了当前网络技术应用状况和网络文件系统发展现状的基础上,讨论了网络存储技术发展方向。针对网络存储的可管理性、可扩展性以及智能化技术作了重点论述。最后说明研究意义及主要研究内容。 针对存储技术发展中存在的管理、扩展和自适应问题,本文引入了自适应海量存储系统的概念。在详细说明了概念提出原因和特征的基础上,描述了SASS的基本体系结构的构成。进而说明了存储空间组织原则,包括存储空间分配、命名空间组织等,并分析了文件和目录分离状态下元数据操作原则。同时介绍了研究SASS时使用的访真软件EssSim。最后分析了本文主要研究的问题。 海量存储系统中设备数量庞大,设备间存在明显性能差异。如何有效组织和管理所有存储设备,以及充分合理利用所有设备能力,是SASS需要解决的根本性问题之一。SASS采用的方式为:总体上的半分布式拓扑结构;各自治域内,参考P2P系统具有高度自适性的节点管理策略,采用依据设备性能特点,自我组织、自我调整的分层结构,能够自动适应不断变化的系统状态。 如何选择合理有效、可靠的数据组织策略,是SASS需要解决的另外一个根本性问题。在SASS存储空间分配策略基础上,讨论了存储节点内部组织和优化,以及适应负载变化,可调整文件级RAID等问题。通过这些问题的讨论为方便和深入研究和设计海量的自适应存储系统提供了有力基础。 针对不同用户数据访问的局部性、可预测性,以及节点内部连续访问的离散小数据之间具有的关联性,提出了一种挖掘数据相关性的启发式算法,并讨论如何根据这些相关性信息对数据采取预取和布局调整,以适应外部访问特性变化。 根据数据快照是当前数据保护、备份等功能中核心技术之一。以前面研究内容为基础,设计并实现了目录级和块设备级快照系统原型。
【学位授予单位】:华中科技大学
【学位级别】:博士
【学位授予年份】:2006
【分类号】:TP333

【引证文献】
中国博士学位论文全文数据库 前2条
1 康俊锋;云计算环境下高分辨率遥感影像存储与高效管理技术研究[D];浙江大学;2011年
2 齐同军;城市公共停车管理的时空模型研究及应用[D];浙江大学;2012年
中国硕士学位论文全文数据库 前2条
1 梁晓峰;医用PACS系统数据库云计算的设计[D];山西医科大学;2012年
2 蒋提;PACS存储系统设计与实现[D];山东大学;2012年
【参考文献】
中国期刊全文数据库 前5条
1 周斌,吴泉源,高洪奎;序列模式挖掘的增量式算法的设计原则[J];计算机研究与发展;2000年10期
2 冯丹,张江陵;不同负载分布下磁盘阵列响应时间分析[J];计算机研究与发展;2001年09期
3 赵振;谢长生;李怀阳;吴伟;;一种改进大型存储系统离散小数据块读取性能的方法[J];计算机科学;2006年06期
4 付长冬,舒继武,郑纬民,沈美明;基于自主运算的自适应存储区域网络系统[J];软件学报;2004年07期
5 赵振;谢长生;李怀阳;董晓明;;基于DCD的块设备快照系统[J];小型微型计算机系统;2005年12期
中国博士学位论文全文数据库 前1条
1 魏青松;大规模分布式存储技术研究[D];电子科技大学;2004年
【共引文献】
中国期刊全文数据库 前10条
1 翟葵,朱军;抢占优先级业务量链路性能评价[J];安徽电子信息职业技术学院学报;2005年02期
2 干娟;;基于决策树算法的学生综合测评系统的设计[J];安徽电子信息职业技术学院学报;2011年04期
3 李玲玲;辛浩;;FCM算法及其有效性度量方法[J];安徽电子信息职业技术学院学报;2011年05期
4 郭有强;胡学钢;;基于项目增长法高效求解最大频繁项集[J];安徽科技学院学报;2006年06期
5 张友志;钱萌;程玉胜;;基于关联规则web日志挖掘方法的研究[J];安庆师范学院学报(自然科学版);2006年01期
6 熊安萍,周属衡,阳小龙;基于FDL和TWC的光突发竞争解决方案及性能分析[J];半导体光电;2004年03期
7 狄红卫,韩耀东;光码分多址中地址码性能研究[J];半导体光电;2005年04期
8 钟锋;尹树华;;一种基于WDM和OCDMA的全光分组网络的阻塞率分析[J];半导体光电;2008年01期
9 曹丹阳;李晋宏;魏金强;张艳芳;;基于决策树的英语四级成绩分析[J];北方工业大学学报;2007年01期
10 方志方,吴重庆,陶滢,付松年;弹性分组环MAC协议的性能分析[J];北方交通大学学报;2004年03期
中国重要会议论文全文数据库 前10条
1 周炎涛;唐剑波;王家琴;;基于信息熵的改进TFIDF特征选择算法[A];第二十六届中国控制会议论文集[C];2007年
2 赵云鹏;石丽;刘莹;;基于数据挖掘的高校规模分析及应用研究[A];第九届全国信息获取与处理学术会议论文集Ⅰ[C];2011年
3 王皓;曹永锋;孙洪;;基于流域变换的聚类分析[A];第十二届全国信号处理学术年会(CCSP-2005)论文集[C];2005年
4 吴栋;张京华;王玉成;胡伍生;;前兆信息模型在地震预测中的应用[A];数字测绘与GIS技术应用研讨交流会论文集[C];2008年
5 孟少朋;骆红云;李盛;;基于数据挖掘的汽车可靠性分析方法研究[A];2007年全国失效分析学术会议论文集[C];2007年
6 杨纪军;朱培栋;;关联规则挖掘技术在蜜罐系统中的应用[A];中国电子学会第十六届信息论学术年会论文集[C];2009年
7 朱攀;陈跃新;;Apriori算法在参保人信用度评价中的应用[A];2009年研究生学术交流会通信与信息技术论文集[C];2009年
8 张敏;陆向艳;周敏;潘林琳;农冬冬;王彬彬;陈晓江;;数据挖掘在智能题库系统中的应用[A];广西计算机学会2004年学术年会论文集[C];2004年
9 郑东健;卢兆辉;;基于时间序列相似性的坝基测压孔水位性态分析[A];全国大坝安全监测技术信息网2008年度技术信息交流会暨全国大坝安全监测技术应用和发展研讨会论文集[C];2008年
10 李佳;芙蓉薇;;基于FP-tree算法的图书推荐服务[A];低碳经济与科学发展——吉林省第六届科学技术学术年会论文集[C];2010年
中国博士学位论文全文数据库 前10条
1 张海涛;自律计算系统的自律可信性评估研究[D];哈尔滨工程大学;2010年
2 赵倩;基于自配置的软件可信性增长模型及方法[D];哈尔滨工程大学;2010年
3 车建华;虚拟计算系统性能与可用性评测方法研究[D];浙江大学;2010年
4 单征;基于分层架构的网络处理器系统性能分析方法研究[D];解放军信息工程大学;2007年
5 郑霄;超级计算机系统的可用性评估研究[D];解放军信息工程大学;2009年
6 王冬丽;基于可扩展的支持向量机分类算法及在信用评级中的应用[D];东华大学;2011年
7 张翔;文本挖掘技术研究及其在综合风险信息网络中的应用[D];西北大学;2011年
8 金海浩;五行相生间接补法古代应用规律研究[D];南京中医药大学;2011年
9 陈聆;地球化学矿致异常非线性分析方法研究[D];成都理工大学;2011年
10 孟京辉;经营单位级森林经营数据仓库研建及应用研究[D];中国林业科学研究院;2011年
中国硕士学位论文全文数据库 前10条
1 蔡浩;基于Web使用挖掘的协同过滤推荐算法研究[D];浙江理工大学;2010年
2 李翠;基于车辆自动识别的智能计重监控系统的研究与设计[D];郑州大学;2010年
3 刘春燕;教学网络DIDS数据分析方法的研究与改进[D];郑州大学;2010年
4 史文财;省级政务网安全检测系统的设计与实现[D];哈尔滨工程大学;2010年
5 尹丽玲;基于人工免疫算法的Web文本挖掘研究[D];哈尔滨工程大学;2010年
6 冯照临;C/S结构分布式应用系统的自主计算研究[D];哈尔滨工程大学;2010年
7 李晓光;数据挖掘技术在高校招生和教务管理中的应用[D];哈尔滨工程大学;2010年
8 姜雪飞;基于SNMP的网络安全态势可视化技术[D];哈尔滨工程大学;2010年
9 周东海;基于记账凭证的高校教育成本数据挖掘研究[D];哈尔滨工程大学;2010年
10 李红;数据挖掘中特征选择与聚类算法研究[D];大连理工大学;2010年
【同被引文献】
中国期刊全文数据库 前10条
1 赵凯;;基于云存储的医院PACS系统存储设计[J];信息安全与技术;2012年04期
2 张晓红;非接触式IC卡在停车场收费管理中的应用[J];鞍山师范学院学报;2005年04期
3 关宏志;王鑫;王雪;;停车需求预测方法研究[J];北京工业大学学报;2006年07期
4 关宏志;浦亮;;基于演化博弈理论的有限理性交通选择行为模型[J];北京工业大学学报;2010年08期
5 胡阳秋,高小榕,高上凯;医学图像DICOM格式转换软件的设计与实现[J];北京生物医学工程;2000年04期
6 王勇,张凯,吕扬生;DICOM医学图像的存储与管理[J];北京生物医学工程;2002年03期
7 刘杰;;医学图像压缩算法研究及进展[J];北京生物医学工程;2006年03期
8 陈天华;;图像检索技术研究与发展[J];北京工商大学学报(自然科学版);2008年06期
9 ;Grid GIS and its application in digital city[J];重庆邮电大学学报(自然科学版);2007年03期
10 董光;师为礼;赵运隆;;一种医学图像压缩方法的研究[J];长春理工大学学报(自然科学版);2009年03期
中国博士学位论文全文数据库 前10条
1 郭宏伟;城市路内停车影响的建模与特性分析[D];北京交通大学;2011年
2 罗东健;大规模存储系统高可靠性关键技术研究[D];华中科技大学;2011年
3 张可;车辆导航系统关键技术研究[D];北京工业大学;2001年
4 张山山;地理信息系统时空数据建模研究及应用[D];西南交通大学;2001年
5 邓雪清;栅格型空间数据服务体系结构与算法研究[D];中国人民解放军信息工程大学;2003年
6 宋江洪;遥感图像处理软件中的关键技术研究[D];中国科学院研究生院(遥感应用研究所);2005年
7 孙宏元;基于HPC的多分辨空间信息应用基础平台关键技术研究[D];西安电子科技大学;2006年
8 赵春宇;高性能并行GIS中矢量空间数据存取与处理关键技术研究[D];武汉大学;2006年
9 陈志荣;移动空间信息网格服务模型研究及实现方法[D];浙江大学;2008年
10 许欢;面向服务的土地资源空间信息多级语义网格研究[D];浙江大学;2009年
中国硕士学位论文全文数据库 前10条
1 陈荣荣;道路网络与动态交通信息一体化的时空数据模型研究[D];吉林大学;2011年
2 乔小艳;停车换乘(P&R)设施需求预测研究[D];北京交通大学;2011年
3 符韦苇;广州市停车收费对居民出行方式选择的影响研究[D];华南理工大学;2011年
4 杨晓飞;路内停车对道路交通影响及管理策略研究[D];南京林业大学;2011年
5 王志利;基于前景理论的停车选择行为研究[D];哈尔滨工业大学;2011年
6 王湘斌;基于Lon Works现场总线技术的智能化停车场控制系统的设计[D];北京工业大学;2000年
7 刘旭华;区域时空信息与时空过程模型的GIS表达[D];山东师范大学;2002年
8 刘英;地理系信息系统中时空数据建模及面向对象数据模型的研究[D];山东科技大学;2003年
9 张华歆;拥挤道路收费问题的研究[D];上海海事大学;2004年
10 丁卫嘉;基于ORACLE GeoRaster的遥感影像库技术研究[D];中国科学院研究生院(遥感应用研究所);2006年
【二级引证文献】
中国期刊全文数据库 前2条
1 林德根;梁勤欧;;云GIS的内涵与研究进展[J];地理科学进展;2012年11期
2 杨海平;沈占锋;骆剑承;吴炜;;海量遥感数据的高性能地学计算应用与发展分析[J];地球信息科学学报;2013年01期
中国博士学位论文全文数据库 前1条
1 曾志;云格环境下海量高分遥感影像资源与服务高效调配研究[D];浙江大学;2012年
中国硕士学位论文全文数据库 前2条
1 李涵;辽宁省农村土地规划管理问题研究[D];吉林大学;2012年
2 贾晨微;政务地理空间私有云技术研究[D];电子科技大学;2012年
【二级参考文献】
中国期刊全文数据库 前9条
1 陈晓宇,苏中义;具有副本透明性的分布式文件系统模型的讨论[J];华东交通大学学报;2000年01期
2 陈锡明,卢显良;基于NOW的运行时增量式集中式调度(NRICS)及其实现[J];计算机研究与发展;2001年11期
3 陈锡明;卢显良;;NOW中支持进程迁移的运行时增量式集中式调度[J];计算机科学;2001年05期
4 魏青松;卢显良;雷宇;;FTDSS:高容错分布式共享存储机制[J];计算机科学;2003年08期
5 魏青松;卢显良;周旭;;FastQueue:一种高性能的磁盘队列存储管理机制[J];计算机科学;2003年10期
6 魏青松;陈波;卢显良;周旭;吴劲;;分布式远程备份空间模型研究[J];计算机科学;2004年04期
7 魏青松;卢显良;侯孟书;;AdpReplica:自适应副本管理机制[J];计算机科学;2004年12期
8 周斌,吴泉源;序列模式挖掘的一种渐进算法[J];计算机学报;1999年08期
9 冯玉才,冯剑琳;关联规则的增量式更新算法[J];软件学报;1998年04期
【相似文献】
中国期刊全文数据库 前10条
1 赵振;谢长生;李怀阳;董晓明;;基于DCD的块设备快照系统[J];小型微型计算机系统;2005年12期
2 倪琴琴;孙卫真;刘峥;;ZFS文件系统Snapshot技术的分析[J];计算机教育;2009年14期
3 柯峰,叶梧,冯穗力,龚汉东;多用户OFDM系统中的快速自适应分配策略[J];华南理工大学学报(自然科学版);2005年03期
4 金崇英;李小勇;白英彩;;海量存储系统的发展与展望[J];计算机应用与软件;2011年08期
5 赵振;谢长生;蒋思宇;;自适应存储海量系统中的一种文件级可调整RAID[J];计算机工程与科学;2007年09期
6 周敬利,汤文晖,余胜生,杨立辉;附网存储中快照技术的设计[J];计算机工程与应用;2003年27期
7 刘炫;何宁;陆体军;贾惠波;;网络光盘库模型的建立和分析[J];计算机应用研究;2006年04期
8 黄河清;曹元大;宋晓华;;虚拟网络存储系统自适应数据分配策略[J];计算机工程;2007年19期
9 彭劲杰;党校系统中央远程教学资源网络存储方案研究[J];中国科技信息;2005年14期
10 杨芳;;网络存储技术的应用前景[J];电力信息化;2005年10期
中国重要会议论文全文数据库 前10条
1 敖一峰;邹恒明;;磁盘级的ZFS数据跟踪技术与分析[A];2010年第16届全国信息存储技术大会(IST2010)论文集[C];2010年
2 王慰;;VxWorks下的Flash器件自适应TFFS文件系统的实现[A];中国通信学会第六届学术年会论文集(下)[C];2009年
3 何宏;黄兴;孙虹;武聪聪;董宏;;基于VHDL和FPGA的自适应数字频率计设计[A];2010中国仪器仪表学术、产业大会(论文集2)[C];2010年
4 黎杰;周猛军;祝吾杰;胡丽媛;;基于自适应微分进化算法的供水调度优化[A];2010中国仪器仪表与测控技术大会论文集[C];2010年
5 曾杰;郭创新;刘育骐;梁年生;;记忆递归网络预测控制器及其在水压频率综合调节中的研究[A];1996中国控制与决策学术年会论文集[C];1996年
6 邢志伟;封锡盛;王宁;;水下机器人神经网络直接自适应控制[A];2003中国控制与决策学术年会论文集[C];2003年
7 袁驷;和雪峰;;一个高效的一维有限元自适应求解的新方案[A];工程力学学术研讨会论文集[C];2004年
8 程春悦;吕英华;;基于可变对角加载的自适应波束形成算法[A];通信理论与信号处理新进展——2005年通信理论与信号处理年会论文集[C];2005年
9 刘程远;王小铭;;基于自适应融合系数矩阵的图像隐藏算法[A];第十二届全国图象图形学学术会议论文集[C];2005年
10 贾利琴;汪晋宽;田丹;;基于子空间跟踪的自适应多用户检测方法[A];第七届青年学术会议论文集[C];2005年
中国重要报纸全文数据库 前10条
1 李勇军;西南油气田公司电子文件系统全面覆盖[N];中国石油报;2007年
2 乐天编译;近距离观看Snow Leopard Server[N];计算机世界;2008年
3 ;CDP:适用于恢复而非容灾[N];网络世界;2006年
4 清华大学计算机系 陈恩义;无缝移动[N];计算机世界;2002年
5 ;三大步迈向NGeN[N];中国计算机报;2005年
6 郭涛;StorNext:管好海量多媒体文件[N];中国计算机报;2007年
7 记者 杨婧瀚;管道公司召开电子文件系统启动视频会[N];石油管道报;2007年
8 本报记者 张峰;快照 快速备份显奇效[N];网络世界;2005年
9 XiaoTao;文件系统自由转换高级应用[N];电脑报;2001年
10 中南林大理学院 旷岭 国防科大计算机学院 李永进 刘军;版本文件系统的虚拟存储策略[N];中国计算机报;2006年
中国博士学位论文全文数据库 前10条
1 赵振;一种自适应海量存储系统组织策略及关键技术研究[D];华中科技大学;2006年
2 刘朝斌;虚拟网络存储系统关键技术研究及其性能评价[D];华中科技大学;2004年
3 吴伟;海量存储系统元数据管理的研究[D];华中科技大学;2010年
4 邓玉辉;基于网络磁盘阵列的海量信息存储系统[D];华中科技大学;2004年
5 束永安;无线网状网媒体访问控制及路由协议研究[D];中国科学技术大学;2007年
6 郇丹丹;高性能存储系统研究[D];中国科学院研究生院(计算技术研究所);2006年
7 李怀阳;进化存储系统数据组织模式研究[D];华中科技大学;2006年
8 王宇德;海量存储系统中数据分布化及其关键技术的研究[D];华中科技大学;2010年
9 王宇德;海量存储系统中数据分布进化及其关键技术的研究[D];华中科技大学;2010年
10 单菊林;自适应有限元网格生成算法研究与应用[D];大连理工大学;2007年
中国硕士学位论文全文数据库 前10条
1 吕征南;多用户OFDM系统的自适应子载波和比特分配算法[D];吉林大学;2006年
2 董博;基于嵌入式Linux的海量存储系统中关键技术的研究[D];电子科技大学;2008年
3 李春光;自适应信号处理的神经网络方法[D];电子科技大学;2002年
4 孙琰;基于小波变换的图像边缘检测技术[D];西北工业大学;2004年
5 史悦;自适应超文本/超媒体学习系统的研究与开发[D];贵州师范大学;2004年
6 宫翔飞;WENO格式和自适应网格方法数值模拟[D];中国工程物理研究院;2003年
7 秦杰;模式识别自适应控制器(PRAC)应用研究[D];西安建筑科技大学;2005年
8 张昌青;电解镍板的自适应点焊控制器研制及其工艺性研究[D];兰州理工大学;2005年
9 韩正英;WPVM环境下的动态任务分配研究[D];广东工业大学;2005年
10 周岩;自适应的集中管理式Web缓存系统研究[D];燕山大学;2004年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026