收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于HDFS的云存储系统数据安全性研究

石磊庆  
【摘要】:HDFS (Hadoop Distributed File System)是Hadoop的分布式文件系统。Hadoop0.20.203版本中,HDFS采用主从架构,主要由一个Namenode,一个SecondaryNamenode及其众多的Datanode构成。Namenode作为HDFS的单一主服务器节点,存在单点失效,性能瓶颈,不易扩展等缺点。同时,HDFS的设计思想主要是通过一些廉价的主机和服务器构建一个分布式的文件存储集群,硬件失效是常态。 针对本系统存在的问题,本文主要进行了如下几方面的工作: 1.介绍了HDFS的基本概念,对HDFS的发展历程,存在的问题,研究现状进行了综述; 2.详细介绍HDFS的系统组件,包括Namenode和Datanode。对元数据,数据的组织和交互以及数据维护方面进行了深入的研究; 3.提出了一种新的分布式Namenode节点集群方案。Namenode分布式方案主要是将原先Namenode节点的功能进行重新分配。其中Namenode1集群主要用来处理客户端的请求和管理Datanode节点的状态,;Namenode2集群主要用来管理并持久化元数据信息以及维护数据节点与数据块映射信息。Leader节点主要是转发客户端的请求及其监控整个集群运行状态,同时返回响应结果。对DRBD, Pacemaker等组件进行了深入的研究。认真分析了已经存在的系统的不足。同时,对单节点Namenode进行Linux HA的部署验证; 4.介绍了分布式系统常用的数据冗余技术。详细研究了HDFS的数据冗余机制,并且对其进行实验验证。同时,深入研究了数据冗余机制对数据交互以及负载均衡的影响。 5.总结全文,提出一些有待改进的方面。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 张询;速度快容量大的新型存储系统[J];世界电子元器件;1997年09期
2 杨春燕;用SAN构筑现代企业信息存储系统的优势[J];内蒙古电力技术;2002年S1期
3 ;专家观点[J];中国计算机用户;2006年43期
4 ;HDS AMS 2000系列的创新之道[J];通信世界;2009年08期
5 金文新;;大型高校图书馆计算机网络集成系统建设[J];情报科学;2009年04期
6 李静;;浅谈HIS系统对服务器和存储设备的要求及设计方案[J];信息与电脑(理论版);2009年11期
7 刘刚;张海涛;李瑞东;张强;;一种基于模块化设计的NAS集群存储系统[J];微计算机信息;2011年05期
8 于耳;;建立面向应用的存储系统[J];中国教育网络;2011年06期
9 ;数字视频存储系统[J];光学精密工程;1977年06期
10 张明明;;为信息传输设备保驾护航——访EMC公司中国区产品经理马永亨先生[J];上海微型计算机;1998年Z1期
11 赵晨;;EMC Symmetrix优化SAP R/3系统[J];计算机与网络;1998年09期
12 陈翔,张江陵;网络逻辑存储系统研究[J];小型微型计算机系统;1999年11期
13 贺昆;为M50436-560SP遥控频道存储系统增加预选频道一例[J];实用影音技术;2000年07期
14 高云;广播电视节目数字化存储系统的选择与实现[J];广播与电视技术;2001年11期
15 王琨月;;服务不能软——访IBM亚太区网络及存储系统部副总裁Paul Moung[J];每周电脑报;2001年09期
16 马天蔚;;存储:存出巨无霸[J];每周电脑报;2001年54期
17 ;松下半导体存储系统DVCPRO P2[J];中国电化教育;2004年06期
18 李建;;存储器系统浅析[J];中国科技信息;2006年01期
19 钱莉萍;;福建科技网数据库存储系统的发展[J];情报探索;2006年04期
20 ;存储天地[J];每周电脑报;2006年31期
中国重要会议论文全文数据库 前10条
1 赵志刚;;存储系统在企业信息化中的应用[A];2005年安徽通信论文集[C];2006年
2 朱平;朱建涛;高剑刚;蒋金虎;;高性能计算存储关键技术研究[A];2010年第16届全国信息存储技术大会(IST2010)论文集[C];2010年
3 周博;宿绍莹;陈曾平;;基于CPCI总线的宽带雷达数据传输存储系统设计[A];全国第二届信号处理与应用学术会议专刊[C];2008年
4 周功业;周江;陈希;陈进才;;寄生存储原理及实现机制[A];第15届全国信息存储技术学术会议论文集[C];2008年
5 汪黎;章文嵩;杨学军;;Cfslight:一个新型的轻量级对象存储集群文件系统[A];2006年全国开放式分布与并行计算学术会议论文集(一)[C];2006年
6 聂明;;构建海量存储系统 提升媒体竞争力[A];中国新闻技术工作者联合会2008年学术年会论文集(下)[C];2008年
7 黄晓峰;张杰;;矿井信息中心存储系统设计[A];安全高效矿井机电装备及信息化技术——陕西省煤炭学会学术年会论文集(2011)[C];2011年
8 王克敏;张玺;胡江凯;王毅涛;;NWP资料归档方法及其存储系统的应用[A];中国气象学会2006年年会“中尺度天气动力学、数值模拟和预测”分会场论文集[C];2006年
9 刘湛明;吴柳坚;;数字电视台的建设[A];2007第二届全国广播电视技术论文集2(下)[C];2007年
10 罗香玉;李传佑;汪芸;;纠删码容错组的布局策略研究[A];第18届全国多媒体学术会议(NCMT2009)、第5届全国人机交互学术会议(CHCI2009)、第5届全国普适计算学术会议(PCC2009)论文集[C];2009年
中国博士学位论文全文数据库 前10条
1 陆承涛;存储系统性能管理问题的研究[D];华中科技大学;2010年
2 聂雪军;内容感知存储系统中信息信息生命周期管理关键技术研究[D];华中科技大学;2011年
3 罗东健;大规模存储系统高可靠性关键技术研究[D];华中科技大学;2011年
4 聂雪军;内容感知存储系统中信息生命周期管理关键技术研究[D];华中科技大学;2010年
5 王玉林;多节点容错存储系统的数据与缓存组织研究[D];电子科技大学;2010年
6 王鹏;低密度奇偶校验码应用于存储系统的关键技术研究[D];华中科技大学;2013年
7 施展;基于本体的存储系统管理研究[D];华中科技大学;2011年
8 黄继鹏;高速高可靠小型数字视频存储系统的设计与实现[D];中国科学院研究生院(长春光学精密机械与物理研究所);2012年
9 刘科;内容感知存储系统中的信息检索关键技术研究[D];华中科技大学;2012年
10 姜明华;基于冗余智能存储通道的存储系统关键技术研究[D];华中科技大学;2011年
中国硕士学位论文全文数据库 前10条
1 陆正武;面向流媒体应用存储系统的研究与实现[D];华中科技大学;2004年
2 杜睿;基于IP-SAN技术的石化企业数据集中存储系统的设计与实现[D];华东理工大学;2010年
3 金强;基于HBase的RDF存储系统的研究与设计[D];浙江大学;2011年
4 余智敏;数字化图书馆的数据存储技术的研究[D];武汉理工大学;2006年
5 陶博舟;磁盘阵列快照系统的设计与实现[D];华中科技大学;2007年
6 张小艳;基于嵌入式技术的USB存储系统的设计与实现[D];内蒙古大学;2011年
7 蒋亚群;基于DLX体系结构的微处理器核的设计与实现[D];中国人民解放军国防科学技术大学;2002年
8 亓伟;关系数据库存储子系统研究与实现[D];清华大学;2005年
9 宋迎迎;数字馆藏评价指标体系研究[D];郑州大学;2006年
10 袁晓铭;磁盘阵列系统的快照技术研究[D];华中科技大学;2007年
中国重要报纸全文数据库 前10条
1 朗飞;IBM“冰立方”就像搭积木[N];中国计算机报;2006年
2 郭涛;MediaGrid既不是SAN也不是NAS[N];中国计算机报;2007年
3 本报记者  张峰;知己知彼建存储(上)[N];网络世界;2006年
4 森林;NAS资源存储系统[N];中国电脑教育报;2002年
5 Hifn(汉帆)杭州信息技术有限公司 马剑杰;自动精简配置:提升存储利用率有绝招[N];中国计算机报;2009年
6 ;IBM收购存储解决方案公司[N];计算机世界;2007年
7 本报记者 徐恒;面临机遇 中国新型存储业合作求创新[N];中国电子报;2011年
8 李想 徐晋;福州电业局研发个人文件安全存储系统[N];中国电力报;2006年
9 ;HDS推出企业入门级存储系统[N];计算机世界;2005年
10 ;戴尔EMC打造新一代高容量存储系统[N];人民邮电;2004年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978