收藏本站
《西北工业大学》 2007年
收藏 | 手机打开
二维码
手机客户端打开本文

基于IP-SAN的海量存储技术的研究与实现

郑炜  
【摘要】: 随着企业信息爆炸性增长,对存储容量和可靠性的要求越来越高,存储技术得到广泛关注,特别是网络存储技术的研究已成为存储行业的热点。IP-SAN以其相对低廉的价格和高效的性能,成为当前网络存储关键技术之一。 本文的研究课题来源于两个具体开发项目,第一个是西北工业大学计算机学院与国外某大型IT企业(世界500强企业之一)的一个合作项目“基于存储区域网络的海量数据的研究”。该项目的基本目标是实现跨平台的海量数据备份管理系统。第二个是西北工业大学软件学院和国内大型航空航天研究所的合作项目“基于存储网的异构数据库整合系统”。该项目主要是解决数据孤岛问题,消除数据重复,实现对唯一数据源的多维应用系统。 本文是作者对在上述两个课题中研究工作和取得研究成果的总结。主要研究在基于IP-SAN技术下解决海量存储问题所遇到的一些问题,其中包括海量存储的备份容灾问题,IP-SAN系统的安全问题,SAN的资源管理调度算法,海量数据的数据分解及其异构数据的集成问题;并在解决这些问题的基础上实现了相关的两个具体的基于IP-SAN的应用系统。 本文的创新之处概述如下: 一、提出了基于集群技术的SAN系统结构 实现了两层的透明性功能:第一,用户对存储设备的透明性访问;第二,调度器的具体实现对用户的透明。给出了用户访问存储设备的具体步骤,描述了基于集群技术的SAN体系结构的优势。 二、提出并实现了基于拟序的关联备份任务模型及其调度算法 在关联备份任务模型中,某些处于等待状态的备份任务因为被等待的事件没有到来,使得所有备份任务的执行结束时间被推后。为了解决这一问题,本文提出了基于拟序的关联备份任务模型,并实现了具体调度算法,从数学模型上验证其符合拟序关系,给出相应的数学推导和证明表示其完备性和正确性。另外,通过对具体实验结果进行分析研究,表明这种基于拟序的关联备份任务模型能够有效提高系统效率。 三、提出并实现了基于信息隐藏的安全IP-SAN系统模型 通过对IP-SAN系统及其现有安全机制的分析研究,提出了基于信息隐藏的安全IP-SAN系统模型。介绍了信息隐藏技术的核心思想及特点,分析了信息隐藏技术相对与传统加密技术的优势,在此基础上,对信息隐藏和信息还原的具体算法进行了详细描述,并引入信息熵的概念作为度量标准,得出本文设计的基于信息隐藏的IP-SAN系统具有较高的安全性能。另外,探讨了增强IP-SAN系统安全性的各种有效的方法。 四、提出了基于目录技术的SAN存储资源管理模型 在对SAN系统模型进行分析研究的基础上,提出了基于目录技术的SAN资源管理模型。详细描述了目录管理模型及数据访问的算法。对SAN的节点性能进行了深入分析,采用了衡量节点负载的标准,对错误的检测及容错策略进行了进一步研究。在此基础上进一步探讨了故障预测技术,通过采用故障预测技术对节点故障进行预测,增强系统性能。 五、提出了基于对象层次思想的数据描述方式 层次化可以在一定程度上解决内容描述的复杂性。本文提出了基于对象层次思想的数据描述方式,对数据的物理层,结构层和语义层建立数学模型,证明其相互联系。在此基础上对同一数据源进行多种层次的应用。同时,通过对数据库系统文档描述进行进一步研究,实现了数据库系统文档描述单元(MDU)在飞机设计数字化工程中的应用模型。 六、提出并实现了基于XML的异构数据库转换算法 为了解决异构数据库集成过程中的数据转换问题,在对异构数据库自身特点以及XML技术进行了深入研究的基础上,提出了基于XML的异构数据库转换思想,重点论述了通过XML进行异构数据库转换的具体实现,并给出了相应的转换算法。 七、提出并实现了基于IP-SAN的分层异构数据集成算法在飞机设计数字化中的应用 基于IP-SAN所具有的诸多优势,提出了以IP-SAN形成数据中心,基于对象层次思想的异构数据库集成算法,实现了飞机设计数字化工程中的异构数据库集成系统,在给出系统体系框架图的基础上,描述了系统集成层次结构及特点。 本文所探讨的内容是基于IP-SAN系统的海量存储的研究与实现方面的进一步研究和完善,所取得的研究成果可以为大规模商业应用、科学计算、网络计算、高性能计算、航天探索,数据集成等数据密集型领域中存储系统软件的设计提供支持。因此本文的研究具有重要的理论意义和工程应用价值。
【学位授予单位】:西北工业大学
【学位级别】:博士
【学位授予年份】:2007
【分类号】:TP333

免费申请
【引证文献】
中国期刊全文数据库 前1条
1 董谷音;康慕宁;孙展望;;基于IP-SAN的拟序备份调度算法的研究[J];微型电脑应用;2012年02期
中国硕士学位论文全文数据库 前3条
1 张媛;IPSAN环境下LVS负载均衡的研究与实现[D];长安大学;2011年
2 蔡博;基于MBasedSWC-Varsize算法的重复数据消除技术研究[D];电子科技大学;2012年
3 孙磊;工控领域的IPSAN/NAS存储系统的设计与实现[D];山东大学;2012年
【参考文献】
中国期刊全文数据库 前3条
1 章文嵩,王召福,刘仲;基于对象存储的集群文件系统CFSlight设计与实现[J];大连理工大学学报;2003年S1期
2 周可,张江陵,冯丹,万志坤;基于存取模式的Cache预取自适应策略研究[J];计算机工程与科学;2003年01期
3 付长冬,舒继武,吴昊,沈美明;SAN存储系统的I/O路径控制与管理[J];小型微型计算机系统;2004年05期
中国硕士学位论文全文数据库 前2条
1 马墨峰;基于存储局域网的存储系统的实现[D];西北工业大学;2001年
2 冯军;机群文件系统性能优化中的关键问题研究[D];中国科学院研究生院(计算技术研究所);2001年
【共引文献】
中国期刊全文数据库 前5条
1 刘幸;;DAS、NAS、SAN、CAS存储技术在电台的应用——以福建广电新大楼为例[J];东南传播;2012年10期
2 ;DPHM: A FAULT DETECTION PROTOCOL BASED ON HEARTBEAT OF MULTIPLE MASTER-NODES[J];Journal of Electronics(China);2007年04期
3 谭毓安;朱立谷;曹元大;;存储区域网络中路径容错及负载均衡的研究[J];计算机工程;2006年12期
4 易法令,万继光,谭志虎,鲁修卓;光盘镜像服务器的Cache技术研究与实现[J];计算机工程与科学;2004年10期
5 汪黎;章文嵩;杨学军;;Cfslight:一个新型的轻量级对象存储集群文件系统[J];微电子学与计算机;2006年09期
中国重要会议论文全文数据库 前1条
1 汪黎;章文嵩;杨学军;;Cfslight:一个新型的轻量级对象存储集群文件系统[A];2006年全国开放式分布与并行计算学术会议论文集(一)[C];2006年
中国博士学位论文全文数据库 前9条
1 李洁琼;海量存储资源海量存储资源管理关键技术研究[D];华中科技大学;2011年
2 赵英;基于异步网络环境的自适应时钟同步[D];北京化工大学;2004年
3 黄伟;机群系统容错中间件技术研究[D];中国科学院研究生院(计算技术研究所);2005年
4 李超;面向海量数字资源管理的FC-SAN性能分析与监测[D];清华大学;2006年
5 陈研;面向有状态应用的并行系统设计研究[D];上海交通大学;2007年
6 王秀群;可实用的拜占庭容错系统理论研究[D];浙江大学;2007年
7 罗迅;海量多级光集成存储中的虚拟镜像系统优化方法的研究[D];清华大学;2006年
8 刘群;基于可扩展对象的海量存储系统研究[D];华中科技大学;2006年
9 曾令仿;基于对象的网络存储智能处理方法研究[D];华中科技大学;2006年
中国硕士学位论文全文数据库 前10条
1 吕磊;迅雷离线下载分布式文件系统的设计与实现[D];哈尔滨工业大学;2010年
2 吕英男;分布式数据的弱一致性维护策略的研究[D];华中科技大学;2011年
3 靳强;“银河飞腾-DX”DSP高效二级cache的设计与实现[D];国防科学技术大学;2011年
4 廖竣锴;基于Internet的容灾系统的设计与实现[D];四川大学;2004年
5 邵强;对象存储文件系统中元数据管理集群关键技术研究与实现[D];国防科学技术大学;2005年
6 周薇;移动因特网中群组成员管理协议的研究[D];中南大学;2005年
7 郭鹏;数据广播中Cache替换算法的研究[D];湖南大学;2006年
8 杨云柯;基于JMS的容错性组通信中间件的设计与实现[D];大连理工大学;2006年
9 龚玮;对象存储文件系统的设计与实现[D];华中科技大学;2006年
10 周刚;基于磁光盘的医学海量图像归档系统的研究与设计[D];华中科技大学;2006年
【同被引文献】
中国期刊全文数据库 前10条
1 王建勇,谢正茂,雷鸣,李晓明;近似镜像网页检测算法的研究与评价[J];电子学报;2000年S1期
2 郭义凯;燕琳;;非编网的IP SAN架构[J];电视工程;2007年03期
3 付印金;肖侬;刘芳;;重复数据删除关键技术研究进展[J];计算机研究与发展;2012年01期
4 王树鹏,云晓春,余翔湛,胡铭曾;容灾的理论与关键技术分析[J];计算机工程与应用;2004年28期
5 张艳,李舟军,何德全;灾难备份和恢复技术的现状与发展[J];计算机工程与科学;2005年02期
6 沙金川;刘晓洁;李涛;王玮;李海林;吴波;答治茜;;一种基于安全控制的异地灾备系统设计与实现[J];计算机应用研究;2007年08期
7 劳眷;灾难备份和恢复技术及解决方案分析[J];计算机应用与软件;2005年03期
8 杨玲;黄海;侯颖;;基于分布存储的嵌入式系统双机备份设计[J];计算机与现代化;2007年02期
9 李坤;王百杰;;服务器集群负载均衡技术研究及算法比较[J];计算机与现代化;2009年08期
10 白广思;;FC SAN与IP SAN架构比较新论[J];情报科学;2007年09期
中国博士学位论文全文数据库 前1条
1 章文嵩;可伸缩网络服务的研究与实现[D];中国人民解放军国防科学技术大学;2000年
中国硕士学位论文全文数据库 前6条
1 王晋鹏;SAN网络环境下基于LVS集群的流媒体服务器的研究[D];清华大学;2004年
2 黄立峰;一种关键数据灾备与恢复方法的设计与实现[D];哈尔滨工业大学;2006年
3 孙晓滨;基于LVS技术的山东铁通VOD系统设计与实现[D];山东大学;2007年
4 刘玉艳;LVS负载均衡技术在网络服务中应用研究[D];合肥工业大学;2007年
5 曾庆辉;海量数据备份的消冗机制研究与实现[D];西安电子科技大学;2010年
6 申伟;基于LVS集群的一种负载均衡改进算法的研究与实现[D];中国地质大学(北京);2010年
【二级参考文献】
中国期刊全文数据库 前5条
1 王作新,郑乐黎;磁盘阵列 Cache 自适应预读算法的研究[J];华南理工大学学报(自然科学版);1997年05期
2 李勇,彭宇行,陈福接;大规模视频点播磁盘cache替换算法[J];计算机研究与发展;2000年02期
3 王永庆,张民选;一种新型网络视频点播的存储层次[J];计算机辅助设计与图形学学报;2001年05期
4 薛一波,韩承德;Cache对加速比的影响[J];计算机学报;1997年01期
5 卢凯,金士尧,卢锡城;并行文件系统中适度贪婪的Cache预取一体化算法[J];计算机学报;1999年11期
【相似文献】
中国期刊全文数据库 前10条
1 ;谁来解决个人海量存储[J];计算机与网络;2004年15期
2 陈志凌;程耀东;刘爱贵;陈刚;;海量存储文件系统CastorFS的设计与实现[J];计算机工程与应用;2006年04期
3 风萧雪舞;;只为声色而生 超级海量存储多媒体手机扫描[J];电脑爱好者;2007年23期
4 何公明;许严;;高性能分布式文件系统相关技术研究[J];有线电视技术;2009年12期
5 ;由浪潮牵头 中国电子标准化技术协会海量存储标准工作委员会在京成立[J];科技浪潮;2009年04期
6 褚晓滨;陆铁军;宗宇;;USB接口海量存储指令分析[J];机电产品开发与创新;2008年03期
7 崔晓斐;向瑕嫔;张志彬;;高校图书馆新馆网络建设的思考[J];现代情报;2010年02期
8 廖俊卿;;基于海量存储类的嵌入式USB主机设计[J];电脑知识与技术;2010年17期
9 韩鸿颐;海量存储——媒体数据管理的基石[J];中国传媒科技;2002年12期
10 郭巍;新时期数字图书馆技术概述[J];教育信息化;2002年10期
中国重要会议论文全文数据库 前10条
1 孙来福;王朋娇;;网格在网络教育资源管理中的应用[A];基于信息技术的教学新模式研究[C];2006年
2 戴章坤;;对社区卫生资源管理和预防保健工作的思考与探讨[A];新世纪预防医学面临的挑战——中华预防医学会首届学术年会论文摘要集[C];2002年
3 王连森;;办学资源的产权分析:一个拓展产权经济学在高等教育领域应用的构想[A];2008年中国教育经济学年会会议论文集[C];2008年
4 郝中军;;全面资源管理[A];中国企业家世纪论坛(全面资源管理)论文集[C];2005年
5 陈明;谢俊;李勇;;基于博弈论的网格资源管理[A];2008年全国开放式分布与并行计算机学术会议论文集(上册)[C];2008年
6 贺强;杨艳玲;李桂林;;地理信息系统在铁路供水系统资源管理中的应用[A];中国铁道学会铁道环境保护委员会给排水学组2005年论文集[C];2005年
7 解硕永;;依法合理运作矿业权 努力降低煤炭资源成本[A];第七届中国煤炭经济管理论坛暨2006年中国煤炭学会经济管理专业委员会年会论文集[C];2006年
8 刘林会;申文周;;强化矿产资源管理 提高资源利用水平[A];第五届全国矿山采选技术进展报告会论文集[C];2006年
9 张智;;一种数字化资源共享的设想方案[A];陕西省图书馆学会第五次会员代表大会暨学术研讨会与全国图书馆部室主任工作、学术研讨会论文集[C];2003年
10 冯选民;;利用计算机数据库技术进行N7设备资源管理的尝试[A];河南省通信学会2005年学术年会论文集[C];2005年
中国重要报纸全文数据库 前10条
1 ;华硕AP1720-E2可满足海量存储需求[N];电脑商报;2004年
2 邱江勇;海量存储标准委员会在京成立[N];中国电子报;2009年
3 刺客;硬盘海量存储的未来[N];电脑报;2001年
4 记者  郑申;信息技术发展成就海量存储[N];金融时报;2006年
5 本报记者 之河;多媒体、无线传输、海量存储[N];中国电子报;2001年
6 ;海量存储时代[N];电脑报;2004年
7 朗飞;异构SAN满足海量存储需求[N];中国计算机报;2002年
8 ;有效解决海量存储[N];中国计算机报;2002年
9 凡妮;航天联志服务器6500R—16挑战海量存储[N];电脑商报;2008年
10 ;迎来海量存储时代[N];人民邮电;2001年
中国博士学位论文全文数据库 前10条
1 郑炜;基于IP-SAN的海量存储技术的研究与实现[D];西北工业大学;2007年
2 李洁琼;海量存储资源海量存储资源管理关键技术研究[D];华中科技大学;2011年
3 王婷;面向授权管理的资源管理模型研究[D];解放军信息工程大学;2011年
4 朱林;信息融合系统工程设计准则的研究[D];哈尔滨工程大学;2005年
5 丁顺利;基于代理的网格资源管理与任务调度[D];吉林大学;2006年
6 王皓轮;有线电视网双模终端资源管理关键技术研究[D];中国科学技术大学;2012年
7 周文辉;相控阵雷达及组网跟踪系统资源管理技术研究[D];国防科学技术大学;2004年
8 许增福;DL环境下的信息资源管理及知识发现研究[D];哈尔滨工程大学;2005年
9 王强华;基于公共信道信令模型的网格体系结构研究[D];西北大学;2006年
10 韩宇宽;国民经济动员中的可动员资源管理研究[D];北京理工大学;2006年
中国硕士学位论文全文数据库 前10条
1 周祎生;网格环境下基于Agent技术资源管理的研究[D];南京理工大学;2004年
2 朱莉;EPLRS中AODV路由与资源管理结合技术研究[D];电子科技大学;2005年
3 齐旗;黄海生物资源管理法律问题研究[D];中国海洋大学;2009年
4 苏天醒;基于RDF的信息网络服务平台资源管理的研究[D];北京邮电大学;2010年
5 柳杨;信息化教学设计研究中的教育资源组织与管理[D];华中师范大学;2003年
6 郭毅辉;网络联盟企业的资源管理研究[D];广东工业大学;2004年
7 林国治;论企业人力资源管理中的道德机制[D];中南大学;2003年
8 赵峰;公务人力资源管理信息系统的研究[D];郑州大学;2003年
9 刘晓峰;基于EPCIMS的项目资源管理信息平台(PRMIP)的研究[D];天津大学;2003年
10 曾琼;分布资源管理信息服务的研究与实现[D];国防科学技术大学;2003年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026