收藏本站
《武汉邮电科学研究院》 2015年
收藏 | 手机打开
二维码
手机客户端打开本文

基于HDFS的小型云存储系统的研究与实现

艾明  
【摘要】:近年来,云计算越来越受到大家的关注,云存储作为其中的一个热门应用,在海量数据存储方面性能卓越,远远优于传统的存储系统,而如今的数据存储需求呈爆发式增长,传统的存储系统的发展已经很难跟上如今数据需求的增长脚步,因此云存储迅速的成为了大家研究的热点问题。云存储是一种服务,用以满足用户的存储需求,它将用户数据存储在服务器集群上,不管用户在任何地方使用何种终端,只要能连接上云存储系统,就可以访问到自己存储在系统中的数据,相当于给用户提供一个不限容量的移动硬盘,且数据的安全性要远远优于移动硬盘。Hadoop是Apache基金会所开发的支持涉及数千个节点和海量数据的分布式计算的高级项目。它是一个开源免费的软件框架,由java语言实现,全球的开发志愿者共同对它进行完善。HDFS是Hadoop的一个子项目,它是一个分布式文件系统,受到谷歌文件系统(GFS)的启发,提供高吞吐量的应用数据接口使得Hadoop具有很好的性能。但是,尽管HDFS已经被广泛使用,但它仍然存在一些影响性能的缺陷,对于小文件的处理能力就是其中缺陷之一。档案文件(Hadoop Archives)和序列文件(sequence files)是两种现有的改善小文件处理问题的解决方案,但它们仍然有各自的不足,本文在深入研究HDFS的技术模型之后,提出了一个优化方案,即在客户端与系统的集群中间增加一个处理模块,先对小文件进行合并处理,然后再写入系统,并以HDFS、HAR和本文方案分别进行试验,获取三种方案在NameNode内存使用效率和系统访问效率两方面的试验数据,分析试验结果可以验证本文提出的优化方案能够提升HDFS处理小文件的性能。此外,本文在HDFS的基础上,搭建了一套云存储系统,通过调用HDFS API实现了系统的一些基本功能,如用户注册登录、上传文件、浏览文件、下载文件、共享文件等。尽管功能还不够完整细致,但研究实现这套系统可以加深对云存储系统的理解,这对于进一步研究基于HDFS的相关延伸应用具有很好的指导意义。
【学位授予单位】:武汉邮电科学研究院
【学位级别】:硕士
【学位授予年份】:2015
【分类号】:TP333

【相似文献】
中国期刊全文数据库 前10条
1 ;领先的技术是应用的保证──贵州中行存储系统浅析[J];计算机周刊;2001年43期
2 李红;蓝光存储系统 光盘容量高达23G[J];信息记录材料;2004年01期
3 ;存储系统 金融行业应用卓越奖 医疗行业应用卓越奖[J];每周电脑报;2004年20期
4 诺拉;EMC Symmetrix DMX-3存储系统 超大容量 高速存取[J];中国计算机用户;2005年31期
5 谢世诚;;浪潮推出4Gb光纤存储系统[J];微型机与应用;2006年07期
6 ;昆腾分级存储系统[J];软件世界;2009年11期
7 ;超低功耗云存储系统或被地方政府看好[J];中国有线电视;2013年08期
8 汤赫男;;云存储系统的分析与应用研究[J];计算机光盘软件与应用;2013年24期
9 谌伟;;云存储系统的分析与应用探讨[J];数字技术与应用;2013年10期
10 雅君;跟上企业的匆匆脚步——利用HP SureStoreEXP256构筑企业存储系统[J];中国计算机用户;2000年08期
中国重要会议论文全文数据库 前10条
1 赵志刚;;存储系统在企业信息化中的应用[A];2005年安徽通信论文集[C];2006年
2 黄晓峰;张杰;;矿井信息中心存储系统设计[A];安全高效矿井机电装备及信息化技术——陕西省煤炭学会学术年会论文集(2011)[C];2011年
3 孙哲;李昌银;;构建核电高可用云存储系统[A];2012电力行业信息化年会优秀论文专辑[C];2012年
4 焦超;周天彤;李祥学;李建华;;面向灾备的高性能可信存储系统设计[A];第十一届保密通信与信息安全现状研讨会论文集[C];2009年
5 汪位龙;;设计院存储系统建设初探[A];中国公路学会计算机应用分会2004年年会学术论文集[C];2004年
6 梅松竹;李宗伯;;Storage 7000系列混合存储系统分析[A];2009年中国高校通信类院系学术研讨会论文集[C];2009年
7 王克敏;张玺;胡江凯;王毅涛;;NWP资料归档方法及其存储系统的应用[A];中国气象学会2006年年会“中尺度天气动力学、数值模拟和预测”分会场论文集[C];2006年
8 孙哲;李昌银;;DeDu:基于云计算的冗余删除存储系统[A];电力行业新一代信息技术研讨会论文集[C];2011年
9 高小伍;党齐民;林晨;;校园网存储系统的研究与实现[A];中国高等教育学会教育信息化分会第十次学术年会论文集[C];2010年
10 宫海林;郭长国;苑洪亮;王怀民;;支持事务的非结构化数据聚合存储系统GSL[A];2006年全国开放式分布与并行计算机学术会议论文集(三)[C];2006年
中国重要报纸全文数据库 前10条
1 ;第三季度中国存储系统市场达19.1亿元[N];中国高新技术产业导报;2005年
2 本报记者 薛斐;服务:存储系统的灵魂[N];计算机世界;2002年
3 单群一;惠普推出全新一体化存储系统[N];中国税务报;2007年
4 ;浪潮推出4Gb光纤存储系统[N];人民邮电;2006年
5 ;今年第二季度 存储系统市场价值达12.6亿元[N];人民邮电;2006年
6 郭;日立推出普及型存储系统[N];计算机世界;2007年
7 陈耀光;朗登 扛起存储系统设计院的大旗[N];中国企业报;2001年
8 ;富士通存储系统全面升级[N];网络世界;2009年
9 ;EMC亚洲生产制造中心落户深圳[N];网络世界;2009年
10 临履;存储系统有了“设计院”[N];网络世界;2001年
中国博士学位论文全文数据库 前10条
1 王福伟;列存储系统的数据安全与网络性能优化模型研究[D];燕山大学;2016年
2 张菁;大规模分布式纠删码存储系统中的高效数据传输技术研究[D];国防科学技术大学;2015年
3 沈志荣;纠删码存储系统性能优化研究[D];清华大学;2015年
4 黄志杰;容错存储系统中的MDS阵列码研究[D];华中科技大学;2016年
5 刘进军;云存储系统中基于溯源关系的文件查询与管理方法研究[D];华中科技大学;2016年
6 赵楠楠;分布式键值存储系统高效能数据布局技术研究[D];华中科技大学;2016年
7 宋振龙;面向超级计算的大规模并行存储系统关键技术研究[D];国防科学技术大学;2014年
8 陆承涛;存储系统性能管理问题的研究[D];华中科技大学;2010年
9 聂雪军;内容感知存储系统中信息信息生命周期管理关键技术研究[D];华中科技大学;2011年
10 罗东健;大规模存储系统高可靠性关键技术研究[D];华中科技大学;2011年
中国硕士学位论文全文数据库 前10条
1 艾明;基于HDFS的小型云存储系统的研究与实现[D];武汉邮电科学研究院;2015年
2 张倩;HDFS副本管理策略研究与实现[D];中国科学技术大学;2015年
3 张娅军;私有云存储系统中存储与访问模块的设计与实现[D];中国科学院大学(中国科学院工程管理与信息技术学院);2017年
4 冯汉超;基于Hadoop的分布式副本策略研究[D];河北工程大学;2015年
5 张明;IaaS中基于热点数据的存储系统研究与实现[D];哈尔滨工业大学;2015年
6 蒋静远;基于数据通道的非结构化数据多存储系统[D];浙江大学;2015年
7 郭晖;面向高清视频监控的流存储系统设计与实现[D];电子科技大学;2015年
8 许孟杰;嵌入式快速存储模块的研究与实现[D];中国舰船研究院;2015年
9 何洁和;面向POI的分布式结构化存储系统存储引擎设计与实现[D];电子科技大学;2014年
10 王晓;混合存储系统高效快照技术研究[D];北京理工大学;2015年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026