收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

内容感知存储系统中信息生命周期管理关键技术研究

聂雪军  
【摘要】:随着存储系统智能化需求的不断提高,越来越多的应用层功能开始融入存储系统,例如自主管理,数据安全以及信息检索等。传统的存储系统以块级或对象级数据处理为主,缺乏文件级信息,无法将信息生命周期管理(Information Lifecycle Management,ILM)功能融入存储系统。遵循XAM(eXtensible Access Method)规范的内容感知存储(Content Aware Storage)系统,由于使用内容元数据(Content Metadata)对数据的文件级信息进行传载,因此为ILM融入存储系统提供了基础。研究ILM融入内容感知存储系统过程中涉及的关键技术,围绕着内容元数据构建信息整合、内容分类、分级存储、数据备份以及信息归档等ILM数据处理阶段。研究工作主要包括: 提出并实现了一种基于内容元数据的信息整合方法。针对ILM数据处理需求制定了内容元数据规范,包括内容元数据的定义、提取、表示以及传输。以内容元数据为基础,从外在形式和内部语义两方面实现了非结构化信息数据的整合。设计并实现了支持内容元数据规范的存储系统原型,性能测试表明信息整合提高了数据预处理的速度,同时对存储系统的平均I/O性能影响极小。 提出并实现了一种面向内容元数据的信息分类算法。针对内容元数据的分类特征数量少但语义质量高的特性,构造了一种基于特征词集合的内容元数据相似度计算模型。该模型根据训练样本中的特征词集合构造相似度矩阵,并通过对矩阵进行平滑运算计算特征词之间的隐式相关性,以此为基础计算内容元数据的特征矢量。基于特征矢量,采用K-Means算法构造数据分类器。性能测试表明,该算法比传统的数据分类算法有着更高的精确度和互信息,并极大地降低了分类计算的时间。 提出并实现了一种内容元数据驱动的分级存储模型,包括基于应用需求的分级存储与基于成本需求的分级存储。前者满足信息在备份、归档、安全以及访问控制等应用上的需求,后者侧重于降低单位信息的存储成本同时确保存储系统的I/O性能。提出了一种基于速率控制的自适应数据迁移算法,将数据迁移I/O对存储系统正常I/O的影响降至最低。性能测试表明,内容元数据驱动的分级存储模型能有效满足的信息数据的存储需求,同时不影响存储系统的整体性能。 提出并实现了一种基于内容特征的重复数据删除算法。针对当前数据备份中重复数据删除算法未考虑不同文件类型的内容在比特值分布上的差异,采用候选边界直方图来表示文件类型的内容特征,并在此基础上对传统重复数据删除算法的关键参数进行优化。算法以降低不同文件类型之间的数据缩减率为代价,换取相同类型文件之间数据缩减率的提高。设计了一种支持变长数据块高效存储的文件系统TDFS。性能测试表明,该算法在特定数据集上对数据缩减率(Reduction Ratio)有较大提高。 提出并实现了一种基于内容元数据的信息归档模型。通过引入支持OAIS(Open Archival Information System)归档规范的内容元数据标签,实现信息的逻辑保存。提出一种基于磁盘的软件WORM(Write Once Read Many)模型,通过修改磁盘功能划分以及对iSCSI命令的响应行为,实现信息的物理保存。通过对归档文件加密并在保存逾期后销毁密钥,实现了信息的安全销毁,同时提出了一种基于时间窗口的密钥管理机制降低密钥管理复杂度。性能测试表明,基于内容元数据的信息归档模型能有效满足归档信息的功能需求与性能需求。 实验表明,内容感知存储系统能有效解决传统存储系统中缺乏文件级语义的问题,通过以内容元数据为核心来构建ILM模型中的关键数据处理阶段,不仅能简化ILM融入存储系统的复杂性,同时还能极大提高数据访问性能,满足存储系统的智能化需求。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 张询;速度快容量大的新型存储系统[J];世界电子元器件;1997年09期
2 杨春燕;用SAN构筑现代企业信息存储系统的优势[J];内蒙古电力技术;2002年S1期
3 ;专家观点[J];中国计算机用户;2006年43期
4 ;HDS AMS 2000系列的创新之道[J];通信世界;2009年08期
5 金文新;;大型高校图书馆计算机网络集成系统建设[J];情报科学;2009年04期
6 李静;;浅谈HIS系统对服务器和存储设备的要求及设计方案[J];信息与电脑(理论版);2009年11期
7 刘刚;张海涛;李瑞东;张强;;一种基于模块化设计的NAS集群存储系统[J];微计算机信息;2011年05期
8 于耳;;建立面向应用的存储系统[J];中国教育网络;2011年06期
9 ;数字视频存储系统[J];光学精密工程;1977年06期
10 张明明;;为信息传输设备保驾护航——访EMC公司中国区产品经理马永亨先生[J];上海微型计算机;1998年Z1期
11 赵晨;;EMC Symmetrix优化SAP R/3系统[J];计算机与网络;1998年09期
12 陈翔,张江陵;网络逻辑存储系统研究[J];小型微型计算机系统;1999年11期
13 贺昆;为M50436-560SP遥控频道存储系统增加预选频道一例[J];实用影音技术;2000年07期
14 高云;广播电视节目数字化存储系统的选择与实现[J];广播与电视技术;2001年11期
15 王琨月;;服务不能软——访IBM亚太区网络及存储系统部副总裁Paul Moung[J];每周电脑报;2001年09期
16 马天蔚;;存储:存出巨无霸[J];每周电脑报;2001年54期
17 ;松下半导体存储系统DVCPRO P2[J];中国电化教育;2004年06期
18 李建;;存储器系统浅析[J];中国科技信息;2006年01期
19 钱莉萍;;福建科技网数据库存储系统的发展[J];情报探索;2006年04期
20 ;存储天地[J];每周电脑报;2006年31期
中国重要会议论文全文数据库 前10条
1 赵志刚;;存储系统在企业信息化中的应用[A];2005年安徽通信论文集[C];2006年
2 朱平;朱建涛;高剑刚;蒋金虎;;高性能计算存储关键技术研究[A];2010年第16届全国信息存储技术大会(IST2010)论文集[C];2010年
3 周博;宿绍莹;陈曾平;;基于CPCI总线的宽带雷达数据传输存储系统设计[A];全国第二届信号处理与应用学术会议专刊[C];2008年
4 周功业;周江;陈希;陈进才;;寄生存储原理及实现机制[A];第15届全国信息存储技术学术会议论文集[C];2008年
5 汪黎;章文嵩;杨学军;;Cfslight:一个新型的轻量级对象存储集群文件系统[A];2006年全国开放式分布与并行计算学术会议论文集(一)[C];2006年
6 聂明;;构建海量存储系统 提升媒体竞争力[A];中国新闻技术工作者联合会2008年学术年会论文集(下)[C];2008年
7 黄晓峰;张杰;;矿井信息中心存储系统设计[A];安全高效矿井机电装备及信息化技术——陕西省煤炭学会学术年会论文集(2011)[C];2011年
8 王克敏;张玺;胡江凯;王毅涛;;NWP资料归档方法及其存储系统的应用[A];中国气象学会2006年年会“中尺度天气动力学、数值模拟和预测”分会场论文集[C];2006年
9 刘湛明;吴柳坚;;数字电视台的建设[A];2007第二届全国广播电视技术论文集2(下)[C];2007年
10 罗香玉;李传佑;汪芸;;纠删码容错组的布局策略研究[A];第18届全国多媒体学术会议(NCMT2009)、第5届全国人机交互学术会议(CHCI2009)、第5届全国普适计算学术会议(PCC2009)论文集[C];2009年
中国博士学位论文全文数据库 前10条
1 陆承涛;存储系统性能管理问题的研究[D];华中科技大学;2010年
2 聂雪军;内容感知存储系统中信息信息生命周期管理关键技术研究[D];华中科技大学;2011年
3 罗东健;大规模存储系统高可靠性关键技术研究[D];华中科技大学;2011年
4 聂雪军;内容感知存储系统中信息生命周期管理关键技术研究[D];华中科技大学;2010年
5 王玉林;多节点容错存储系统的数据与缓存组织研究[D];电子科技大学;2010年
6 王鹏;低密度奇偶校验码应用于存储系统的关键技术研究[D];华中科技大学;2013年
7 施展;基于本体的存储系统管理研究[D];华中科技大学;2011年
8 黄继鹏;高速高可靠小型数字视频存储系统的设计与实现[D];中国科学院研究生院(长春光学精密机械与物理研究所);2012年
9 刘科;内容感知存储系统中的信息检索关键技术研究[D];华中科技大学;2012年
10 姜明华;基于冗余智能存储通道的存储系统关键技术研究[D];华中科技大学;2011年
中国硕士学位论文全文数据库 前10条
1 陆正武;面向流媒体应用存储系统的研究与实现[D];华中科技大学;2004年
2 杜睿;基于IP-SAN技术的石化企业数据集中存储系统的设计与实现[D];华东理工大学;2010年
3 金强;基于HBase的RDF存储系统的研究与设计[D];浙江大学;2011年
4 余智敏;数字化图书馆的数据存储技术的研究[D];武汉理工大学;2006年
5 陶博舟;磁盘阵列快照系统的设计与实现[D];华中科技大学;2007年
6 张小艳;基于嵌入式技术的USB存储系统的设计与实现[D];内蒙古大学;2011年
7 蒋亚群;基于DLX体系结构的微处理器核的设计与实现[D];中国人民解放军国防科学技术大学;2002年
8 亓伟;关系数据库存储子系统研究与实现[D];清华大学;2005年
9 宋迎迎;数字馆藏评价指标体系研究[D];郑州大学;2006年
10 袁晓铭;磁盘阵列系统的快照技术研究[D];华中科技大学;2007年
中国重要报纸全文数据库 前10条
1 朗飞;IBM“冰立方”就像搭积木[N];中国计算机报;2006年
2 郭涛;MediaGrid既不是SAN也不是NAS[N];中国计算机报;2007年
3 本报记者  张峰;知己知彼建存储(上)[N];网络世界;2006年
4 森林;NAS资源存储系统[N];中国电脑教育报;2002年
5 Hifn(汉帆)杭州信息技术有限公司 马剑杰;自动精简配置:提升存储利用率有绝招[N];中国计算机报;2009年
6 ;IBM收购存储解决方案公司[N];计算机世界;2007年
7 本报记者 徐恒;面临机遇 中国新型存储业合作求创新[N];中国电子报;2011年
8 李想 徐晋;福州电业局研发个人文件安全存储系统[N];中国电力报;2006年
9 ;HDS推出企业入门级存储系统[N];计算机世界;2005年
10 ;戴尔EMC打造新一代高容量存储系统[N];人民邮电;2004年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978