收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于Hadoop海量数据存储仿真平台的研究与设计

陈剑锐  
【摘要】:随着全球信息化网络化发展和变革的推进,信息处理工作的客观环境已发生了根本性变化。目前随着各国信息化步伐的加快,要处理的来源数据发生了明显变化,最主要的特点就是数据的传输速率越来越快,信息量越来越大,如何及时有效地存储和处理海量数据,并在大量的数据中准确定位目标数据是摆在当前和将来的信息处理工作中的一道难题,成为信息化建设中的一大瓶颈。 有鉴于此,海量数据存储一直都是热门的研究点,对其研究的课题层出不穷,既包括大文件的存储,也包括系统可靠性、可扩展性和运行速度、管理等,在这些课题推动下,海量数据存储系统也从集中式发展到了分布式,以及后来的网格存储与云存储。Hadoop是一个可靠、高效、可伸缩的分布式系统基础架构,并且是开源、跨平台的,其出现大大推动了云技术、云存储的研究,例如IBM[1]的新研究课题就是在Hadoop上建立新的存储架构。Hadoop还是一种新生的架构,虽然基于其的应用已经有不少,但是却还远远算不上成熟,所以对其存在的不足的研究和优化也存在巨大的空间。对Hadoop的研究对于企业和机构来说,在设计初期需要一个对研究和设计成果进行测试的平台,而这些,显然是不适合在实际的平台上进行的。 基于以上考虑,本人从仿真角度进行考虑,在研究了Hadoop的架构和主要特点之后,设计并实现了一个基于Hadoop海量数据存储的仿真平台,允许用户根据需要进行系统规模设置、使用情况设定、策略制定等各项操作,并使用这些设定进行系统运行仿真,从而得到接近实际使用情况的测试结果,有利于促进包括节能、性能优化、提升稳定性等各类基于Hadoop的研究。 此外,在本系统之上,尝试提出一个新的基于文件热度的多级文件迁移与系统休眠机制,在不显著降低系统性能的情况下对系统能耗进行了大幅度的削减,受限于无法获取实际的Hadoop系统使用日志文件,在此只进行了模拟数据的仿真测试。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 ;EMC ISILON推出针对海量数据的全球最大单一文件系统[J];微电脑世界;2011年06期
2 姚书怀,刘兴伟;大型数据中心海量数据存储解决方案的设计[J];西华大学学报(自然科学版);2004年S1期
3 王泽贤;数字图书馆的“书库”——海量数据存储系统[J];情报科学;2003年08期
4 段红英;;浅谈海量数据存储中的几个问题[J];甘肃科技纵横;2009年01期
5 ;光存储系统在海量数据存储市场中的重要作用[J];激光与光电子学进展;1994年07期
6 张烨;沈奇威;;Jackrabbit封装Hadoop的设计与实现[J];四川兵工学报;2010年11期
7 张越;;海量存储新丁Seagate Barracuda ES2 7.2K SAS 1TB[J];个人电脑;2008年06期
8 赵瑞峰;汤晓安;干哲;;基于集群技术的海量数据存储技术研究[J];微计算机信息;2010年16期
9 雷涛;;利用SAN技术构建数字图书馆存储系统[J];丽水学院学报;2008年01期
10 李圣伟;王伟;白亮;;长江河道信息系统海量数据存储机制研究[J];人民长江;2008年14期
11 汪玉凤;章振海;薛一鸣;;精简FAT文件系统在数据采集中的应用[J];微计算机信息;2010年25期
12 程琳;赵继业;;一种可用于数据采集的接口协议方案[J];无锡南洋学院学报;2008年03期
13 郗俊强;;云计算中的数据管理关键技术及其应用[J];无线互联科技;2011年08期
14 罗睿,张永生,李颖,贲进;一个基于数字地球框架的遥感图象信息系统[J];信息工程大学学报;2001年01期
15 陈建明,孙卫东;三维遥感影像数据库系统的研究与实现[J];新疆地质;2005年03期
16 李凯;;海量数据存储技术[J];有线电视技术;2006年10期
17 ;Fujitsu(富士通):高可靠数据存储托起中国银行核心业务平台[J];信息方略;2008年17期
18 冯涛;;公路信息系统中海量数据的存储与管理[J];电脑知识与技术;2009年21期
19 陈羲;高冰生;郭冰;;黄河数据中心海量数据存储方案应用研究[J];科技资讯;2009年36期
20 徐兴雷;汪婵婵;;反范式在海量数据库设计中的应用[J];科技传播;2011年05期
中国重要会议论文全文数据库 前7条
1 卢朝霞;习捷;王剑;;基于数据库分区的海量数据存储技术的研究[A];2006中国控制与决策学术年会论文集[C];2006年
2 张大华;丁辉;吴向阳;赵毅强;孙毓忠;;面向智能电网的电力云计算架构[A];2011电力通信管理暨智能电网通信技术论坛论文集[C];2011年
3 ;前言[A];第十七届全国数据库学术会议论文集(研究报告篇)[C];2000年
4 周松;王意洁;;EXPyramid:一种灵活的基于阵列结构的高容错低修复成本编码方案[A];2010年第16届全国信息存储技术大会(IST2010)论文集[C];2010年
5 高世峰;吴迪;陈正捷;;“云计算”及其应用研究初探[A];全国第二届信号处理与应用学术会议专刊[C];2008年
6 蔡涛;鞠时光;牛德姣;;开放式安全存储区域网模拟平台[A];第15届全国信息存储技术学术会议论文集[C];2008年
7 杨华;;技术与人类社会的矛盾及共存——以“云计算”为例[A];第三届全国科技哲学暨交叉学科研究生论坛文集[C];2010年
中国博士学位论文全文数据库 前5条
1 罗睿;遥感图像信息系统的设计与分析[D];解放军信息工程大学;2001年
2 蒋海波;海量数据存储系统的高可靠性关键技术研究与应用[D];电子科技大学;2013年
3 刘军;桥梁长期健康监测系统集成与设计研究[D];武汉理工大学;2010年
4 耿立中;基于入侵检测的附网存储设备安全关键技术研究[D];清华大学;2010年
5 刘霖;分布式存储系统中的能耗管理策略研究[D];华南理工大学;2013年
中国硕士学位论文全文数据库 前10条
1 张喜;海量数据存储模式的研究[D];广东工业大学;2012年
2 陈璐;基于云计算的海量数据存储技术的研究及应用[D];武汉科技大学;2011年
3 陈剑锐;基于Hadoop海量数据存储仿真平台的研究与设计[D];华南理工大学;2011年
4 马文杰;基于CAP理论的海量数据存储研究与应用[D];苏州大学;2013年
5 娄希安;海量数据存储与查询策略的优化研究[D];大连海事大学;2012年
6 何华;搜索引擎中的数据存储问题研究[D];浙江大学;2005年
7 陈殿伟;基于Hadoop的虚拟筛选海量数据存储及结果处理的设计和实现[D];兰州大学;2012年
8 苗帅;海量数据存储与全文检索[D];江苏科技大学;2011年
9 田爱雪;基于海量数据存储的性能测试与优化研究[D];长春理工大学;2014年
10 邱金清;基于林业系统的嵌入式GIS的研发[D];西安科技大学;2008年
中国重要报纸全文数据库 前10条
1 陈洪康 郭宝群 李雪梅;Sybase海量数据存储浅谈[N];人民邮电;2001年
2 ;ADIC StorNext/SAN保证数据一致性[N];中国计算机报;2003年
3 颖芗;数字中国[N];中国测绘报;2003年
4 i周刊记者 于亮;从“PC选配”到“数码管家”[N];中国计算机报;2004年
5 ;中端存储普及风暴[N];通信产业报;2004年
6 ;“天梭工程”突破高端市场 浪潮欲创服务器大业[N];中国信息报;2002年
7 本报记者 周源;多数企业谨慎对待云存储[N];网络世界;2010年
8 北京亚细亚智业科技有限公司产品市场经理 李炼;让数据备份更简单[N];中国计算机报;2005年
9 秘晓东 陈学君;甘肃省局建设气象地理信息系统[N];中国气象报;2004年
10 本报记者 周蓉蓉;后关系型数据库拓展生存空间[N];计算机世界;2005年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978