收藏本站
《东北石油大学》 2012年
收藏 | 手机打开
二维码
手机客户端打开本文

Hadoop平台下的海量数据存储技术研究

邰建华  
【摘要】:随着互联网的发展、互联网用户的增加,互联网中的图片数据也急剧膨胀。企业的图片数据规模可达TB到几百TB。一般情况下使用分布式文件系统来处理这些图片。 Hadoop是近年来出现的处理海量数据的分布式系统。具有可靠性好、存储容量大、部署简单、可维护性更好等特点。 基于以上两点,本文对Hadoop在图片存储方面的性能做了相应的研究,设计了针对中小企业的基于Hadoop平台的图片存储系统。具体研究内容如下: 1.Hadoop平台的工作原理 从数据组织、数据流等几个方面比较深入地研究了Hadoop平台中数据的存放、读写原理。还研究了分布式计算框架MapReduce的工作过程。 2.基于Hadoop平台的图片存储系统的设计 根据需求分析,将系统的功能设计为普通用户模块、管理员模块、日志分析模块、客户端和系统监控等模块。结合Hadoop、Tomcat、Mysql等软件完成了系统的架构设计。根据系统的功能设计了UML类图,最后设计了Mysql数据库的表。 3.图片存储系统的实现 首先搭建了Hadoop集群,接下来完成了系统各部分的实现过程。重点实现了对Hadoop的操作和日志分析部分。 4.Hadoop平台和Web的整合 本人在研究Hadoop和JSP的基础上,对二者进行了整合,即可以通过JSP页面来访问Hadoop存储的图片文件。 最后综合本文的研究,提出相应的测试方法,来验证系统的性能和可靠性。
【学位授予单位】:东北石油大学
【学位级别】:硕士
【学位授予年份】:2012
【分类号】:TP333

【参考文献】
中国期刊全文数据库 前10条
1 陈全;邓倩妮;;云计算及其关键技术[J];计算机应用;2009年09期
2 曹宁;吴中海;刘宏志;张齐勋;;HDFS下载效率的优化[J];计算机应用;2010年08期
3 王凯;吴泉源;杨树强;;一种多用户MapReduce集群的作业调度算法的设计与实现[J];计算机与现代化;2010年10期
4 王润华;;基于Hadoop集群的分布式日志分析系统研究[J];科技信息;2009年15期
5 陈康;郑纬民;;云计算:系统实例与研究现状[J];软件学报;2009年05期
6 许春玲;张广泉;;分布式文件系统Hadoop HDFS与传统文件系统Linux FS的比较与分析[J];苏州大学学报(工科版);2010年04期
7 刘小虎;蒋从锋;王乘;;基于网格的分布式虚拟环境仿真海量数据管理[J];计算机工程与设计;2008年04期
8 刘琨;李爱菊;董龙江;;基于Hadoop的云存储的研究及实现[J];微计算机信息;2011年07期
9 郑启龙;房明;汪胜;王向前;吴晓伟;王昊;;基于MapReduce模型的并行科学计算[J];微电子学与计算机;2009年08期
10 王鄂;李铭;;云计算下的海量数据挖掘研究[J];现代计算机(专业版);2009年11期
中国硕士学位论文全文数据库 前10条
1 施岩;云计算研究及Hadoop应用程序的开发与测试[D];北京邮电大学;2011年
2 任萱萱;基于Hadoop平台的作业调度研究[D];天津师范大学;2011年
3 陈剑锐;基于Hadoop海量数据存储仿真平台的研究与设计[D];华南理工大学;2011年
4 余正祥;基于hadoop平台作业调度算法的研究[D];云南大学;2011年
5 谢桂兰;基于Eucalyptus云平台的Hadoop集群研究[D];成都理工大学;2011年
6 朱珠;基于Hadoop的海量数据处理模型研究和应用[D];北京邮电大学;2008年
7 付志超;基于Map/Reduce的分布式智能搜索引擎框架研究[D];武汉理工大学;2008年
8 赵春燕;云环境下作业调度算法研究与实现[D];北京交通大学;2009年
9 陈勇;基于Hadoop平台的通信数据分布式查询算法的设计与实现[D];北京交通大学;2009年
10 邓自立;云计算中的网络拓扑设计和Hadoop平台研究[D];中国科学技术大学;2009年
【共引文献】
中国期刊全文数据库 前10条
1 李珺;;基于Hadoop云计算模型探究[J];信息安全与技术;2011年06期
2 魏东泽;来学嘉;;一种安全的高可靠性P2P云存储备份模型初探参考文献[J];信息安全与技术;2011年09期
3 杨振贤;;基于云计算的安全数据存储研究与设计[J];信息安全与技术;2011年10期
4 赵凯;;基于云存储的医院PACS系统存储设计[J];信息安全与技术;2012年04期
5 王继鹏;;高等教育云计算服务平台构建策略初探[J];安阳师范学院学报;2011年05期
6 刘真;刘峰;张宝鹏;马飞;高石玉;;云计算模型在铁路大规模数据处理中的应用[J];北京交通大学学报;2010年05期
7 徐小龙;程春玲;熊婧夷;王汝传;;一种基于移动Agent的云端计算任务安全分割与分配算法[J];北京理工大学学报;2011年08期
8 李建卓;;云计算及其发展综述[J];宝鸡文理学院学报(自然科学版);2010年03期
9 徐鹏;陈思;苏森;;互联网应用PaaS平台体系结构[J];北京邮电大学学报;2012年01期
10 董晓霞;吕廷杰;;云计算研究综述及未来发展[J];北京邮电大学学报(社会科学版);2010年05期
中国重要会议论文全文数据库 前10条
1 万丹丹;王宏;;云计算在编辑工作中的应用探讨[A];学术期刊编辑学理论与实践[C];2010年
2 郭捷夫;;基于云计算模型的绿色IT数据中心构建方案研究[A];2011年通信与信息技术新进展——第八届中国通信学会学术年会论文集[C];2011年
3 汪云凤;李心科;;云服务环境下的服务聚合方法研究[A];2011中国仪器仪表与测控技术大会论文集[C];2011年
4 安聪;毛军文;;实验室信息管理系统(LIMS)的发展现状及趋势分析[A];2011第三届全国医学科研管理论坛暨江苏省医学科研管理学术年会论文汇编[C];2011年
5 张白兰;杨向红;李家龙;刘伟;林创燕;邱正能;;物联网综述[A];中国电子学会第十七届信息论学术年会论文集[C];2010年
6 郭英鹏;;云计算环境下的数据中心网络发展初探[A];广东通信2010青年论坛优秀论文集[C];2010年
7 安伦;周斌;贾焰;;在线Web挖掘中的计算资源动态平衡[A];全国计算机安全学术交流会论文集·第二十五卷[C];2010年
8 任伟;叶敏;刘宇靓;;云安全的信任管理研究[A];全国计算机安全学术交流会论文集·第二十五卷[C];2010年
9 周轩;黄璞;;基于云计算的OMS平台移动业务测试系统[A];中国通信学会第六届学术年会论文集(上)[C];2009年
10 唐玲;;云计算及其安全问题的研究[A];Proceedings of 2011 National Teaching Seminar on Cryptography and Information Security(NTS-CIS 2011) Vol.1[C];2011年
中国博士学位论文全文数据库 前10条
1 吴吉义;基于DHT的开放对等云存储服务系统研究[D];浙江大学;2011年
2 王铁军;非结构化对等网络资源定位技术研究[D];电子科技大学;2010年
3 江颉;面向电子服务的访问控制关键技术研究[D];浙江大学;2010年
4 张泽华;云计算联盟建模及实现的关键技术研究[D];云南大学;2010年
5 徐河杭;面向PLM的数据挖掘技术和应用研究[D];浙江大学;2010年
6 李俊超;面向服务的云会议系统架构及其关键技术研究[D];中国科学技术大学;2011年
7 李铮;多媒体云计算平台关键技术研究[D];中国科学技术大学;2011年
8 康俊锋;云计算环境下高分辨率遥感影像存储与高效管理技术研究[D];浙江大学;2011年
9 林云;汽车物流服务供应链体系构建与应用研究[D];重庆大学;2011年
10 朱智强;混合云服务安全若干理论与关键技术研究[D];武汉大学;2011年
中国硕士学位论文全文数据库 前10条
1 孔楠;基于云计算平台的商业服务模式研究[D];上海外国语大学;2010年
2 康兴元;面向模具企业的注塑模设计知识网络化管理系统研究[D];大连理工大学;2010年
3 朴红吉;基于分布式多索引融合的专利信息检索研究[D];大连理工大学;2010年
4 姜健;云计算在企业物资供应系统的应用研究[D];辽宁工程技术大学;2009年
5 吴贵鑫;云计算中的MapReduce并行编程模式研究[D];河南理工大学;2010年
6 薛师;云计算与网格计算的比较研究[D];河南理工大学;2010年
7 刘震宇;基于VMware vSphere4.0的PC服务器资源池构建[D];大连海事大学;2010年
8 梁文迪;一体化资产管理系统中财务模块的设计与实现[D];华南理工大学;2010年
9 胡清;基于云计算的券商网络营销服务平台研究与设计[D];南昌大学;2010年
10 许信;云存储系统服务质量控制与可靠性技术研究[D];浙江大学;2011年
【二级参考文献】
中国期刊全文数据库 前10条
1 曹元大,贺海军,涂哲明;中文Web文档全文检索系统的设计及实现[J];北京理工大学学报;2002年01期
2 冯学兵;杨伯纲;;Du.om基础地理信息数据库元数据引擎研究[J];测绘通报;2006年12期
3 马学彬;温涛;郭权;王刚;;一种基于遗传算法的网格任务调度算法[J];东北大学学报(自然科学版);2007年07期
4 侯孟书,卢显良,周旭,詹川;非结构化P2P系统的路由算法[J];电子科技大学学报;2005年01期
5 李立;;GridSim网格仿真工具研究[J];电脑知识与技术(学术交流);2007年13期
6 唐箭;;云存储系统的分析与应用研究[J];电脑知识与技术;2009年20期
7 李煜民;章才能;谢杰;;云计算环境下的数据存储[J];电脑知识与技术;2010年05期
8 万波;周顺平;陈波;方芳;;基于DBMS的MAPGIS7.0版本管理的设计与实现[J];地球科学;2006年05期
9 吴吉义;傅建庆;张明西;平玲娣;;云数据管理研究综述[J];电信科学;2010年05期
10 张龙立;;云存储技术探讨[J];电信科学;2010年S1期
中国重要会议论文全文数据库 前1条
1 秦宇强;冯秀芳;余雪丽;;网格计算中保证QoS的Agent技术[A];全国ISNBM学术交流会暨电脑开发与应用创刊20周年庆祝大会论文集[C];2005年
中国重要报纸全文数据库 前2条
1 中国科学院计算所 李国杰;[N];计算机世界;2001年
2 本报记者 高骥远;[N];通信信息报;2007年
中国博士学位论文全文数据库 前2条
1 陈治平;智能搜索引擎理论与应用研究[D];湖南大学;2003年
2 陈海波;云计算平台可信性增强技术的研究[D];复旦大学;2008年
中国硕士学位论文全文数据库 前10条
1 皮鹏;智能搜索引擎系统的研究[D];哈尔滨工程大学;2002年
2 肖育劲;基于网络的分布式机群并行仿真平台开发[D];重庆大学;2003年
3 陈魁;智能搜索引擎系统的分析设计与开发[D];大连理工大学;2004年
4 凌海云;基于语义网的智能搜索技术的研究与实现[D];电子科技大学;2004年
5 刘红星;分布式系统中的文本信息检索技术研究[D];清华大学;2004年
6 吴平博;基于事件框架的主题相关文档智能检索的初步研究[D];清华大学;2004年
7 雷波;面向集群管理的“虚拟操作环境”系统的设计与实现[D];西北工业大学;2004年
8 胡一俊;web超链分析应用研究[D];武汉大学;2005年
9 李嘉;面向分布式仿真的网格资源管理系统设计与实现[D];华中科技大学;2005年
10 沈斌;基于分词的中文文本相似度计算研究[D];天津财经大学;2006年
【相似文献】
中国期刊全文数据库 前10条
1 张烨;沈奇威;;Jackrabbit封装Hadoop的设计与实现[J];四川兵工学报;2010年11期
2 郗俊强;;云计算中的数据管理关键技术及其应用[J];无线互联科技;2011年08期
3 祖研;帅仁俊;陈平;;基于分布式文件系统的图片存储服务的研究[J];通信技术;2011年04期
4 吴宝贵;丁振国;;基于Map/Reduce的分布式搜索引擎研究[J];现代图书情报技术;2007年08期
5 张子鹏;刘海涛;管海兵;;采用信任管理的分布式文件系统TrustFs[J];计算机工程;2009年01期
6 陈建荣;傅黎;;Novell网络环境下分布式文件系统的设计与实现[J];海军工程大学学报;1993年03期
7 李相娜;曹强;赵旺;魏沁祺;;加快分布式文件系统元数据访问的研究与实现[J];微处理机;2008年02期
8 刘伟;刘露;陈荦;钟志农;;海量遥感影像数据存储技术研究[J];计算机工程;2009年05期
9 何公明;张元涛;;面向数字媒体的高性能分布式存储系统的研究与应用[J];广播电视信息;2009年10期
10 周建强;薛行;徐希豪;杨培根;孙钟秀;;分布式文件系统NDFS的设计和实现[J];计算机研究与发展;1990年07期
中国重要会议论文全文数据库 前10条
1 张佳宝;周斌;吴泉源;;基于Hadoop的并行化命名实体识别技术研究与实现[A];全国计算机安全学术交流会论文集·第二十五卷[C];2010年
2 金松昌;方滨兴;杨树强;贾焰;;基于Hadoop的网络安全日志分析系统的设计与实现[A];全国计算机安全学术交流会论文集·第二十五卷[C];2010年
3 丁辉;张大华;罗志明;;基于Hadoop的海量数据处理平台研究[A];2011电力通信管理暨智能电网通信技术论坛论文集[C];2011年
4 邢海韬;黄孜祺;肖健;;应用动态管理技术优化海量数据管理[A];广西计算机学会2008年年会论文集[C];2008年
5 洪穗;;微软WINDOWS Server 2003 R2分布式文件系统解决方案分析[A];中国新闻技术工作者联合会2008年学术年会论文集(上)[C];2008年
6 华清;黄林鹏;;基于分片、松耦合的分布式文件系统的设计与实现[A];2006年全国开放式分布与并行计算学术会议论文集(二)[C];2006年
7 卢朝霞;习捷;王剑;;基于数据库分区的海量数据存储技术的研究[A];2006中国控制与决策学术年会论文集[C];2006年
8 朱平;朱建涛;高剑刚;蒋金虎;;高性能计算存储关键技术研究[A];2010年第16届全国信息存储技术大会(IST2010)论文集[C];2010年
9 林佳烨;;云计算在电信行业数据分析领域的应用[A];广东通信2010青年论坛优秀论文集[C];2010年
10 付伟;肖侬;卢锡城;;GridDenFS:一种基于聚集与虚拟视图的网格文件系统[A];第二十四届中国数据库学术会议论文集(研究报告篇)[C];2007年
中国重要报纸全文数据库 前10条
1 孙定;云计算、大数据与Hadoop[N];计算机世界;2011年
2 本报记者 马文方;Hadoop:云中起舞的小象[N];中国计算机报;2010年
3 ;分布式文件系统一瞥[N];网络世界;2002年
4 王春海 刘立;分布式文件系统在网络中的应用[N];电脑报;2004年
5 本报记者 刘洪宇;Hadoop的中国前途[N];中国计算机报;2009年
6 陈洪康 郭宝群 李雪梅;Sybase海量数据存储浅谈[N];人民邮电;2001年
7 本报记者 于翔;“大数据”的大承诺[N];网络世界;2010年
8 丘永萍;云存储是一种服务[N];中国城乡金融报;2010年
9 ;ADIC StorNext/SAN保证数据一致性[N];中国计算机报;2003年
10 本报记者 刘箐箐;Informatica:大数据带来大机遇[N];计算机世界;2011年
中国博士学位论文全文数据库 前10条
1 赵铁柱;分布式文件系统性能建模及应用研究[D];华南理工大学;2011年
2 罗睿;遥感图像信息系统的设计与分析[D];解放军信息工程大学;2001年
3 李彭军;医学影像云服务平台基础架构研究与实践[D];南方医科大学;2011年
4 康俊锋;云计算环境下高分辨率遥感影像存储与高效管理技术研究[D];浙江大学;2011年
5 林琳;基于网格数据交换区的网格作业性能优化[D];吉林大学;2011年
6 黄华;蓝鲸分布式文件系统的资源管理[D];中国科学院研究生院(计算技术研究所);2005年
7 涂旭东;基于对象的并行文件系统接口语义扩展研究[D];华中科技大学;2011年
8 李冰;云计算环境下动态资源管理关键技术研究[D];北京邮电大学;2012年
9 刘军;桥梁长期健康监测系统集成与设计研究[D];武汉理工大学;2010年
10 耿立中;基于入侵检测的附网存储设备安全关键技术研究[D];清华大学;2010年
中国硕士学位论文全文数据库 前10条
1 邰建华;Hadoop平台下的海量数据存储技术研究[D];东北石油大学;2012年
2 陈剑锐;基于Hadoop海量数据存储仿真平台的研究与设计[D];华南理工大学;2011年
3 陈殿伟;基于Hadoop的虚拟筛选海量数据存储及结果处理的设计和实现[D];兰州大学;2012年
4 翟永东;Hadoop分布式文件系统(HDFS)可靠性的研究与优化[D];华中科技大学;2011年
5 杨帆;Hadoop平台高可用性方案的设计与实现[D];北京邮电大学;2012年
6 高蓟超;Hadoop平台存储策略的研究与优化[D];北京交通大学;2012年
7 张烨;Jackrabbit封装Hadoop的研究及在内容管理系统中的应用[D];北京邮电大学;2011年
8 金松昌;基于HDFS的多用户并行文件IO的设计与实现[D];国防科学技术大学;2010年
9 张明辉;基于Hadoop的数据挖掘算法的分析与研究[D];昆明理工大学;2012年
10 郑天红;基于Hadoop的网络流量分流并行化设计与实现[D];内蒙古大学;2012年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026