收藏本站
《华南理工大学》 2011年
收藏 | 手机打开
二维码
手机客户端打开本文

基于Hadoop海量数据存储仿真平台的研究与设计

陈剑锐  
【摘要】:随着全球信息化网络化发展和变革的推进,信息处理工作的客观环境已发生了根本性变化。目前随着各国信息化步伐的加快,要处理的来源数据发生了明显变化,最主要的特点就是数据的传输速率越来越快,信息量越来越大,如何及时有效地存储和处理海量数据,并在大量的数据中准确定位目标数据是摆在当前和将来的信息处理工作中的一道难题,成为信息化建设中的一大瓶颈。 有鉴于此,海量数据存储一直都是热门的研究点,对其研究的课题层出不穷,既包括大文件的存储,也包括系统可靠性、可扩展性和运行速度、管理等,在这些课题推动下,海量数据存储系统也从集中式发展到了分布式,以及后来的网格存储与云存储。Hadoop是一个可靠、高效、可伸缩的分布式系统基础架构,并且是开源、跨平台的,其出现大大推动了云技术、云存储的研究,例如IBM[1]的新研究课题就是在Hadoop上建立新的存储架构。Hadoop还是一种新生的架构,虽然基于其的应用已经有不少,但是却还远远算不上成熟,所以对其存在的不足的研究和优化也存在巨大的空间。对Hadoop的研究对于企业和机构来说,在设计初期需要一个对研究和设计成果进行测试的平台,而这些,显然是不适合在实际的平台上进行的。 基于以上考虑,本人从仿真角度进行考虑,在研究了Hadoop的架构和主要特点之后,设计并实现了一个基于Hadoop海量数据存储的仿真平台,允许用户根据需要进行系统规模设置、使用情况设定、策略制定等各项操作,并使用这些设定进行系统运行仿真,从而得到接近实际使用情况的测试结果,有利于促进包括节能、性能优化、提升稳定性等各类基于Hadoop的研究。 此外,在本系统之上,尝试提出一个新的基于文件热度的多级文件迁移与系统休眠机制,在不显著降低系统性能的情况下对系统能耗进行了大幅度的削减,受限于无法获取实际的Hadoop系统使用日志文件,在此只进行了模拟数据的仿真测试。
【学位授予单位】:华南理工大学
【学位级别】:硕士
【学位授予年份】:2011
【分类号】:TP333

【引证文献】
中国硕士学位论文全文数据库 前4条
1 邰建华;Hadoop平台下的海量数据存储技术研究[D];东北石油大学;2012年
2 刘尹;空间信息服务云存储与管理机制的初步研究[D];成都理工大学;2012年
3 朱晓蒙;基于云存储的高校教育资源平台[D];西安科技大学;2012年
4 刘晓东;基于元搜索引擎的网页采集技术的研究与实现[D];西安电子科技大学;2013年
【参考文献】
中国期刊全文数据库 前3条
1 张龙立;;云存储技术探讨[J];电信科学;2010年S1期
2 谢卫刚;;实现节能的数据中心[J];智能建筑与城市信息;2010年07期
3 李战怀;;李战怀:海量存储的关键技术[J];中国教育网络;2006年05期
中国硕士学位论文全文数据库 前5条
1 肖育劲;基于网络的分布式机群并行仿真平台开发[D];重庆大学;2003年
2 朱珠;基于Hadoop的海量数据处理模型研究和应用[D];北京邮电大学;2008年
3 迟薛梅;海量存储管理技术——海量存储顽存性研究[D];华东师范大学;2008年
4 邓自立;云计算中的网络拓扑设计和Hadoop平台研究[D];中国科学技术大学;2009年
5 黄晓云;基于HDFS的云存储服务系统研究[D];大连海事大学;2010年
【共引文献】
中国期刊全文数据库 前10条
1 李珺;;基于Hadoop云计算模型探究[J];信息安全与技术;2011年06期
2 姚渝春;;网络存储与UAMS模式研究[J];重庆师范大学学报(自然科学版);2008年03期
3 开华东;田琪;;基于MapReduce集群的加权公平队列调度算法研究[J];电脑知识与技术;2011年09期
4 李洪波;;高校数字化校园云计算应用探讨[J];电脑知识与技术;2011年17期
5 孙福权;张达伟;程勖;刘超;;基于Hadoop企业私有云存储平台的构建[J];辽宁工程技术大学学报(自然科学版);2011年06期
6 朱红霞;黄晓;;光传输网管海量数据存储访问研究[J];光通信研究;2011年06期
7 刘永增;张晓景;李先毅;;基于Hadoop/Hive的web日志分析系统的设计[J];广西大学学报(自然科学版);2011年S1期
8 谌超;强保华;石龙;;基于Hadoop MapReduce的大规模数据索引构建与集群性能分析[J];桂林电子科技大学学报;2012年04期
9 黄滨;徐勇;吕岩;;基于Hadoop云存储系统在设计院的应用研究[J];信息安全与技术;2012年09期
10 邓见光;潘晓衡;袁华强;;云存储及其分布式文件系统研究[J];东莞理工学院学报;2012年05期
中国重要会议论文全文数据库 前3条
1 巩续仁;赵立军;何晓川;;基于蒙特卡罗模拟测试海量存储系统可用性[A];2011年全国通信安全学术会议论文集[C];2011年
2 赵炳;胥光辉;柳旭;李慧冬;;基于Hadoop平台的软件系统的测试研究[A];第十七届全国青年通信学术年会论文集[C];2012年
3 朱湘;金松昌;贾焰;;一种基于Hadoop平台的海量Web数据挖掘系统研究与实现[A];第九届中国通信学会学术年会论文集[C];2012年
中国博士学位论文全文数据库 前9条
1 方雷;基于云计算的土地资源服务高效处理平台关键技术探索与研究[D];浙江大学;2011年
2 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年
3 王学慧;并行与分布式仿真系统中的时间管理技术研究[D];国防科学技术大学;2006年
4 刘艺;应急云环境下任务导向的应急组织敏捷协作机制研究[D];暨南大学;2012年
5 杨国才;农业农村信息化云服务平台集成关键技术研究[D];西南大学;2012年
6 霍旭光;基于云计算的大规模地形数据处理方法的研究[D];中国地质大学(北京);2013年
7 王磊;雷达系统标准化建模与仿真关键技术研究[D];电子科技大学;2013年
8 杨永全;饮食健康中的食物体积估算云计算技术研究[D];中国海洋大学;2013年
9 伍革新;基于关联数据的数字图书馆资源聚合与服务研究[D];华中师范大学;2013年
中国硕士学位论文全文数据库 前10条
1 朴红吉;基于分布式多索引融合的专利信息检索研究[D];大连理工大学;2010年
2 吴贵鑫;云计算中的MapReduce并行编程模式研究[D];河南理工大学;2010年
3 苏伟兵;个性化Web商务信息融合关键技术研究[D];浙江大学;2010年
4 申志强;基于云计算的IPv6协议应用研究[D];东北财经大学;2010年
5 贺鹏;云计算的开发云的研究与实现[D];电子科技大学;2011年
6 赵黎斌;面向云存储的分布式文件系统关键技术研究[D];西安电子科技大学;2011年
7 杨柳;基于云计算的GIS应用模式研究[D];河南大学;2011年
8 贾文娟;基于hive分布式计算与数据挖掘的关联性营销的设计与实现[D];北京交通大学;2011年
9 李芳芳;个人数据空间管理系统中数据抽取及语义关联构建[D];北京交通大学;2011年
10 付惠惠;一种分布式存储管理原型系统客户端软件的设计与实现[D];北京交通大学;2011年
【同被引文献】
中国期刊全文数据库 前10条
1 刘岳峰;地理信息服务概述[J];地理信息世界;2004年06期
2 侯端正;从虚拟存储器谈内存的扩充[J];昌吉学院学报;2003年01期
3 唐箭;;云存储系统的分析与应用研究[J];电脑知识与技术;2009年20期
4 孔亚楠;余跃;;云计算下的虚拟存储研究及应用[J];电脑知识与技术;2010年30期
5 钟伟彬;周梁月;潘军彪;文锦军;;云计算终端的现状和发展趋势[J];电信科学;2010年03期
6 张龙立;;云存储技术探讨[J];电信科学;2010年S1期
7 赵吉志;李金;姚萃南;;云计算数据中心及标准化发展[J];信息技术与标准化;2011年03期
8 韦进;高等教育规模扩展的再思考[J];高等工程教育研究;2004年01期
9 朱伟;;网络虚拟化典型技术探讨[J];广东通信技术;2011年01期
10 沈宇;黄卫东;;基于领域本体的元搜索技术研究[J];信息通信;2008年02期
中国博士学位论文全文数据库 前7条
1 王兴玲;基于XML的地理信息Web服务研究[D];中国科学院研究生院(遥感应用研究所);2002年
2 郭秀娟;基于关联规则数据挖掘算法的研究[D];吉林大学;2004年
3 李荣陆;文本分类及其相关技术研究[D];复旦大学;2005年
4 李强;基于本体论的个性化和社会化元搜索引擎的研究[D];浙江大学;2006年
5 高茂庭;文本聚类分析若干问题研究[D];天津大学;2007年
6 俞晓;空间信息网络访问模式——G/S模式研究[D];成都理工大学;2009年
7 郭曦榕;基于G/S模式的数字旅游工程及其评估技术研究[D];成都理工大学;2010年
中国硕士学位论文全文数据库 前10条
1 杜勇;基于HDFS的云数据备份系统的设计与实现[D];吉林大学;2011年
2 施岩;云计算研究及Hadoop应用程序的开发与测试[D];北京邮电大学;2011年
3 李波;基于Hadoop的海量图象数据管理[D];华东师范大学;2011年
4 张洪娜;云计算平台中数据存储与文件管理的研究[D];广东工业大学;2011年
5 任萱萱;基于Hadoop平台的作业调度研究[D];天津师范大学;2011年
6 杨丽婷;基于云计算数据存储技术的研究[D];中北大学;2011年
7 吴昊;基于HDFS的分布式文件系统数据冗余技术研究[D];西安电子科技大学;2011年
8 泰冬雪;基于Hadoop的海量小文件处理方法的研究[D];辽宁大学;2011年
9 余正祥;基于hadoop平台作业调度算法的研究[D];云南大学;2011年
10 谢桂兰;基于Eucalyptus云平台的Hadoop集群研究[D];成都理工大学;2011年
【二级引证文献】
中国期刊全文数据库 前2条
1 吴良斌;肖祥;;基于VOI的虚拟终端技术研究[J];电脑知识与技术;2013年25期
2 梅鹏临;;基于“云计算”技术的高校资源建设探讨[J];中国-东盟博览;2013年02期
中国硕士学位论文全文数据库 前1条
1 许小龙;基于Hadoop的MeteCloud资源存储与数据处理的研究[D];南京信息工程大学;2013年
【二级参考文献】
中国期刊全文数据库 前10条
1 唐箭;;云存储系统的分析与应用研究[J];电脑知识与技术;2009年20期
2 翁建元;网络磁盘工具──WebDrive2.1[J];电子科技;2000年07期
3 ;集群存储应对新媒体时代[J];中国数字电视;2008年07期
4 潘宏斌;刘云昆;鲁东妮;;浅析数据加密技术[J];硅谷;2008年02期
5 陈德来,焦进,张德富;并行仿真任务的自动生成软件[J];计算机研究与发展;1996年03期
6 王鹤群;;云存储的应用[J];记录媒体技术;2008年05期
7 胡志刚,邹恒华,钟掘;一个可视化并行程序开发平台的构架及实现[J];计算机工程与应用;2001年09期
8 徐万鸿,宋佳兴,刘卫东,徐恪;基于节点机计算能力的网络计算体系[J];计算机工程与应用;2001年16期
9 梅皓,沈志宇;基于网络的分布并行虚拟计算机DPVM的总体设计[J];计算机工程与应用;2001年19期
10 孙燕,田俊峰,王凤先;分布式冗余管理系统可靠性的设计与实现[J];计算机工程与应用;2003年15期
中国重要报纸全文数据库 前1条
1 本报记者 高骥远;[N];通信信息报;2007年
中国硕士学位论文全文数据库 前2条
1 李武;面向现代服务业的大规模分布式文件存储系统设计和实现[D];浙江大学;2008年
2 邓自立;云计算中的网络拓扑设计和Hadoop平台研究[D];中国科学技术大学;2009年
【相似文献】
中国期刊全文数据库 前10条
1 ;EMC ISILON推出针对海量数据的全球最大单一文件系统[J];微电脑世界;2011年06期
2 姚书怀,刘兴伟;大型数据中心海量数据存储解决方案的设计[J];西华大学学报(自然科学版);2004年S1期
3 王泽贤;数字图书馆的“书库”——海量数据存储系统[J];情报科学;2003年08期
4 段红英;;浅谈海量数据存储中的几个问题[J];甘肃科技纵横;2009年01期
5 ;光存储系统在海量数据存储市场中的重要作用[J];激光与光电子学进展;1994年07期
6 张烨;沈奇威;;Jackrabbit封装Hadoop的设计与实现[J];四川兵工学报;2010年11期
7 张越;;海量存储新丁Seagate Barracuda ES2 7.2K SAS 1TB[J];个人电脑;2008年06期
8 赵瑞峰;汤晓安;干哲;;基于集群技术的海量数据存储技术研究[J];微计算机信息;2010年16期
9 雷涛;;利用SAN技术构建数字图书馆存储系统[J];丽水学院学报;2008年01期
10 李圣伟;王伟;白亮;;长江河道信息系统海量数据存储机制研究[J];人民长江;2008年14期
中国重要会议论文全文数据库 前7条
1 卢朝霞;习捷;王剑;;基于数据库分区的海量数据存储技术的研究[A];2006中国控制与决策学术年会论文集[C];2006年
2 张大华;丁辉;吴向阳;赵毅强;孙毓忠;;面向智能电网的电力云计算架构[A];2011电力通信管理暨智能电网通信技术论坛论文集[C];2011年
3 ;前言[A];第十七届全国数据库学术会议论文集(研究报告篇)[C];2000年
4 周松;王意洁;;EXPyramid:一种灵活的基于阵列结构的高容错低修复成本编码方案[A];2010年第16届全国信息存储技术大会(IST2010)论文集[C];2010年
5 高世峰;吴迪;陈正捷;;“云计算”及其应用研究初探[A];全国第二届信号处理与应用学术会议专刊[C];2008年
6 蔡涛;鞠时光;牛德姣;;开放式安全存储区域网模拟平台[A];第15届全国信息存储技术学术会议论文集[C];2008年
7 杨华;;技术与人类社会的矛盾及共存——以“云计算”为例[A];第三届全国科技哲学暨交叉学科研究生论坛文集[C];2010年
中国重要报纸全文数据库 前10条
1 陈洪康 郭宝群 李雪梅;Sybase海量数据存储浅谈[N];人民邮电;2001年
2 ;ADIC StorNext/SAN保证数据一致性[N];中国计算机报;2003年
3 颖芗;数字中国[N];中国测绘报;2003年
4 i周刊记者 于亮;从“PC选配”到“数码管家”[N];中国计算机报;2004年
5 ;中端存储普及风暴[N];通信产业报;2004年
6 ;“天梭工程”突破高端市场 浪潮欲创服务器大业[N];中国信息报;2002年
7 本报记者 周源;多数企业谨慎对待云存储[N];网络世界;2010年
8 北京亚细亚智业科技有限公司产品市场经理 李炼;让数据备份更简单[N];中国计算机报;2005年
9 秘晓东 陈学君;甘肃省局建设气象地理信息系统[N];中国气象报;2004年
10 本报记者 周蓉蓉;后关系型数据库拓展生存空间[N];计算机世界;2005年
中国博士学位论文全文数据库 前5条
1 罗睿;遥感图像信息系统的设计与分析[D];解放军信息工程大学;2001年
2 蒋海波;海量数据存储系统的高可靠性关键技术研究与应用[D];电子科技大学;2013年
3 刘军;桥梁长期健康监测系统集成与设计研究[D];武汉理工大学;2010年
4 耿立中;基于入侵检测的附网存储设备安全关键技术研究[D];清华大学;2010年
5 刘霖;分布式存储系统中的能耗管理策略研究[D];华南理工大学;2013年
中国硕士学位论文全文数据库 前10条
1 张喜;海量数据存储模式的研究[D];广东工业大学;2012年
2 陈璐;基于云计算的海量数据存储技术的研究及应用[D];武汉科技大学;2011年
3 陈剑锐;基于Hadoop海量数据存储仿真平台的研究与设计[D];华南理工大学;2011年
4 马文杰;基于CAP理论的海量数据存储研究与应用[D];苏州大学;2013年
5 娄希安;海量数据存储与查询策略的优化研究[D];大连海事大学;2012年
6 何华;搜索引擎中的数据存储问题研究[D];浙江大学;2005年
7 陈殿伟;基于Hadoop的虚拟筛选海量数据存储及结果处理的设计和实现[D];兰州大学;2012年
8 苗帅;海量数据存储与全文检索[D];江苏科技大学;2011年
9 田爱雪;基于海量数据存储的性能测试与优化研究[D];长春理工大学;2014年
10 邱金清;基于林业系统的嵌入式GIS的研发[D];西安科技大学;2008年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026