收藏本站
《复旦大学》 2011年
收藏 | 手机打开
二维码
手机客户端打开本文

Hadoop平台下的关系数据库查询与实现

黄钟元  
【摘要】:云计算是一种新近提出的计算模型,是分布式计算、并行计算和网格计算的发展。它对用户端进行简化,使用户端仅负责数据输入和读取,而将庞大复杂的处理工作交给“云”。云存储是指通过集群应用、网格技术或分布式文件系统等技术,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。在众多开源云平台中,自由软件基金会Apache基于Google云计算的设计理念实现的Hadoop引起了广泛关注。Hadoop的核心是MapReduce编程模型和Hdoop分布式文件系统(HDFS, Hadoop Distributed File System)。 传统的科学数据管理系统一般是基于关系数据库的,不过关系数据库只能用来管理数据量相对较小的数据,对于大批量的数据和海量数据的查询管理以及数据分析显得力不从心,怎样对海量数据进行有效的管理是一个值得研究的问题。 针对上面提出的问题,本文主要做了以下工作: 1、设计并实现了传统的基于关系数据库的科学数据管理系统,方便更好的对数据进行管理。 2、将科学数据管理系统移植到Hadoop云平台上,实现Hadoop平台下的数据管理系统。 3、改变元数据记录的数量和Hadoop集群中节点的数目,分别记录这些条件下的查询时间,并与关系数据库MySq1的查询时间进行对比,来分析Hadoop查询关系数据的优势与劣势,通过分析找出影响Hadoop集群查询时间的因素,为以后进一步研究和修改云平台查询关系数据库提供参考。
【学位授予单位】:复旦大学
【学位级别】:硕士
【学位授予年份】:2011
【分类号】:TP311.13

手机知网App
【引证文献】
中国期刊全文数据库 前1条
1 刘军霞;王磊;周喜;;面向海量数据的电子政务云平台研究[J];计算机与现代化;2013年07期
中国硕士学位论文全文数据库 前2条
1 朱朝鹏;基于云计算的远程诊断关键技术研究[D];郑州大学;2013年
2 刘培松;云计算环境下任务调度和资源分配策略的研究[D];华东师范大学;2013年
【参考文献】
中国期刊全文数据库 前1条
1 陈剑波;;地方政府公开信息分类及核心元数据研究[J];情报杂志;2009年S1期
中国硕士学位论文全文数据库 前4条
1 李志国;基于J2EE的元数据注册管理系统的设计与实现[D];北京交通大学;2011年
2 何华;基于云计算平台的电信经营分析系统中元数据管理的研究与实现[D];北京邮电大学;2011年
3 姜文;基于Hadoop平台的数据分析和应用[D];北京邮电大学;2011年
4 邱荣太;基于Hadoop平台的Map-Reduce应用研究[D];河南理工大学;2009年
【共引文献】
中国期刊全文数据库 前2条
1 王涛;马海群;;高校信息公开中主动公开信息的分类体系构建[J];现代情报;2011年03期
2 王博;陈莉君;;Hadoop远程过程调用机制的分析和应用[J];西安邮电学院学报;2012年06期
中国硕士学位论文全文数据库 前10条
1 靳孝芳;粗糙集理论在关系数据库知识发现中的应用研究[D];电子科技大学;2011年
2 李志国;基于J2EE的元数据注册管理系统的设计与实现[D];北京交通大学;2011年
3 刘彤;基于Hadoop的数据分析系统设计和实现[D];北京邮电大学;2012年
4 徐娟娟;基于NoSQL的Web日志分析系统的设计[D];安徽理工大学;2012年
5 虞乐;基于Hadoop平台下回归算法的性能研究[D];南华大学;2012年
6 郭逸重;Hadoop分布式数据清洗方案[D];华南理工大学;2012年
7 李林;基于hadoop的海量图片存储模型的分析和设计[D];杭州电子科技大学;2011年
8 朱安柱;基于Hadoop的Apriori算法改进与移植的研究[D];华中科技大学;2012年
9 王霁欣;一种基于Hadoop/MapReduce的可扩展存储系统架构研究[D];华中科技大学;2012年
10 林蕾;BESⅢ分布式计算的元数据管理研究[D];苏州大学;2013年
【同被引文献】
中国期刊全文数据库 前10条
1 宋钰;何小利;曾薇;;基于网格计算的资源调度研究[J];电脑学习;2010年03期
2 续蕾;;基于云计算技术的IT业应用研究[J];电脑学习;2010年03期
3 张华强;;关系型数据库与NoSQL数据库[J];电脑知识与技术;2011年20期
4 程莹;张云勇;徐雷;房秉毅;;基于Hadoop及关系型数据库的海量数据分析研究[J];电信科学;2010年11期
5 李建江;崔健;王聃;严林;黄义双;;MapReduce并行编程模型研究综述[J];电子学报;2011年11期
6 黎宏剑;刘恒;黄广文;卜立;;基于Hadoop的海量电信数据云计算平台研究[J];电信科学;2012年08期
7 郑松远;EN-8000汽轮发电机组振动监测分析故障诊断系统[J];华北电力技术;1999年06期
8 陈玉兰;郑骏;胡文心;;一种多QoS约束的网格资源调度算法[J];华东师范大学学报(自然科学版);2009年01期
9 华夏渝;郑骏;胡文心;;基于云计算环境的蚁群优化计算资源分配算法[J];华东师范大学学报(自然科学版);2010年01期
10 黎洪生,何岭松,史铁林,杨叔子;基于因特网远程故障诊断系统架构[J];华中科技大学学报(自然科学版);2000年03期
中国博士学位论文全文数据库 前1条
1 陈芳;云计算架构下云政府模式研究[D];武汉大学;2012年
中国硕士学位论文全文数据库 前10条
1 施岩;云计算研究及Hadoop应用程序的开发与测试[D];北京邮电大学;2011年
2 孙伟龙;基于IaaS云计算的Web应用技术研究[D];南京理工大学;2011年
3 何平;B/S模式汽轮发电机组振动监测与故障诊断系统的设计与实现[D];浙江大学;2006年
4 何光伟;基于Web的远程监测与故障分析系统的研究[D];大连理工大学;2006年
5 徐红燕;基于B/S模式的汽轮发电机组远程状态监测技术研究[D];同济大学;2007年
6 李毅;基于SOA的设备状态监测与故障诊断系统的研究[D];上海交通大学;2008年
7 刘鹏程;云计算中虚拟机动态迁移的研究[D];复旦大学;2009年
8 黄晓云;基于HDFS的云存储服务系统研究[D];大连海事大学;2010年
9 孔丽;基于故障诊断网格的数据管理[D];合肥工业大学;2010年
10 程瑶;电子政务云系统的应用研究[D];兰州大学;2012年
【二级参考文献】
中国期刊全文数据库 前10条
1 宋春桥;游松财;柯灵红;;面向发生的地学数据分类方案及其元数据扩展研究[J];地理信息世界;2010年04期
2 彭辛庚;陈湘涛;;电信企业数据仓库中元数据管理的探索与实践[J];电信科学;2009年07期
3 张龙立;;云存储技术探讨[J];电信科学;2010年S1期
4 许川佩;张民;张婧;;基于Ajax的J2EE安全应用框架[J];计算机工程;2010年04期
5 张英捷;刘万军;;Spring AOP技术在J2EE系统安全性验证中的应用研究[J];计算机工程与科学;2008年08期
6 唐懿芳,钟达夫,严小卫;基于聚类模式的数据清洗技术[J];计算机应用;2004年05期
7 刘孝保;杜平安;;J2EE模式下基于角色访问控制的应用[J];计算机应用;2006年06期
8 孙朝云;孙向科;文静;;基于B/S模式网络系统安全性研究与实现[J];计算机与数字工程;2009年03期
9 杨茹;张爱文;;黑龙江省交通数字化中元数据创建问题研究[J];黑龙江工程学院学报(自然科学版);2010年03期
10 王润华;;基于Hadoop集群的分布式日志分析系统研究[J];科技信息;2009年15期
中国硕士学位论文全文数据库 前4条
1 万至臻;基于MapReduce模型的并行计算平台的设计与实现[D];浙江大学;2008年
2 朱珠;基于Hadoop的海量数据处理模型研究和应用[D];北京邮电大学;2008年
3 杜六苟;电信经营分析系统的研究与应用[D];同济大学;2008年
4 龙海燕;基于RIA的科技文献分析与可视化系统的研究与实现[D];北京邮电大学;2010年
【相似文献】
中国期刊全文数据库 前10条
1 周宇鹏;;数据库技术的发展与展望[J];考试(高考族);2009年09期
2 吴浪;;关系数据库查询优化研究[J];才智;2008年10期
3 张新平;MySQL数据库查询中的like问题[J];中央民族大学学报(自然科学版);2003年03期
4 王富强;王青山;张立朝;朱浩群;王锐;;基于Lucene的数据库全文信息检索[J];测绘科学;2008年03期
5 徐卫;基本单位名录数据库查询系统[J];统计与咨询;1997年05期
6 明海波;XML实现Web数据库查询的研究和应用[J];浙江工贸职业技术学院学报;2004年02期
7 徐少平,徐少文;基于Sem-ODM建模方法的多源数据库查询框架[J];现代计算机;2005年04期
8 伍军云;徐少平;林振荣;王炜立;;一种新的关系数据库查询优化方法[J];计算机与现代化;2006年07期
9 胡明晓;;基于服务器扩展和文件池的数据库查询新方式[J];微计算机应用;2007年09期
10 徐从旭;;索引在数据库查询中的应用[J];铜陵学院学报;2008年03期
中国重要会议论文全文数据库 前10条
1 何义剑;姚青;洪晓光;;基于关系数据库的业务流程本体存储模式研究[A];第二十四届中国数据库学术会议论文集(技术报告篇)[C];2007年
2 吴红伟;王庆;萧建昌;周傲英;;XML键约束在关系数据库中的实现[A];第十九届全国数据库学术会议论文集(技术报告篇)[C];2002年
3 陈欣;金远平;吕扬;;基于本体的关系数据库的语义设计模式[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
4 顾平;周力;;基于MDA的关系数据库的设计与实现[A];第二十三届中国数据库学术会议论文集(技术报告篇)[C];2006年
5 汪璟玢;郭朝珍;;基于关系数据库的空间数据管理[A];第十四届全国遥感技术学术交流会论文摘要集[C];2003年
6 夏卫;;分片技术在数据库查询优化中的应用[A];第九届全国数据库学术会议论文集(上)[C];1990年
7 黄锦辉;任永杰;孟小锋;;Chiql在因特网上的应用[A];第十五届全国数据库学术会议论文集[C];1998年
8 郭景峰;李莉;宫继兵;;粗关系数据库中的粗关系运算研究[A];第二十届全国数据库学术会议论文集(技术报告篇)[C];2003年
9 岳昆;郭志懋;胥正川;周傲英;;从XML键到关系数据库函数依赖[A];第十九届全国数据库学术会议论文集(技术报告篇)[C];2002年
10 应毅;毛宇光;;可信度在次协调关系数据库中的应用[A];第二十二届中国数据库学术会议论文集(技术报告篇)[C];2005年
中国重要报纸全文数据库 前10条
1 特约撰稿 王月;实现数据库查询[N];电脑报;2001年
2 北京 李军胜;多条件数据库查询的优化[N];电脑报;2004年
3 合众;给数据库一双“慧眼”[N];网络世界;2006年
4 孙定;云计算、大数据与Hadoop[N];计算机世界;2011年
5 ;关系数据库市场保持增势[N];人民邮电;2004年
6 ;学校数据库安全堪忧[N];网络世界;2007年
7 ;永不停顿的实时关系数据库[N];计算机世界;2002年
8 石竹;关系数据库独霸二十多年[N];计算机世界;2004年
9 本报记者 孟杰;IBM 打算将“毒蛇”袭向何方[N];政府采购信息报;2006年
10 迪文;全球关系数据库市场增长[N];中国计算机报;2004年
中国博士学位论文全文数据库 前10条
1 张硕;图数据库查询处理技术的研究[D];哈尔滨工业大学;2010年
2 张硕;图数据库查询处理技术的研究[D];哈尔滨工业大学;2010年
3 徐德智;XML数据库查询及其模式集成研究[D];中南大学;2004年
4 黎方正;关系数据库的关键词检索技术研究[D];中南大学;2010年
5 刘春辰;基于本体的企业搜索优化技术研究[D];吉林大学;2012年
6 王斌;面向关系数据库的关键字近似搜索技术研究[D];东北大学;2008年
7 陈一稀;基于关系数据库的遗留系统向语义Web移植的研究[D];浙江大学;2010年
8 李韧;基于Hadoop的大规模语义Web本体数据查询与推理关键技术研究[D];重庆大学;2013年
9 罗德安;一种基于关系数据库的空间数据模型及其特殊应用[D];西南交通大学;2001年
10 胥正川;基于关系数据库的XML数据存储、更新和检索[D];复旦大学;2003年
中国硕士学位论文全文数据库 前10条
1 黄钟元;Hadoop平台下的关系数据库查询与实现[D];复旦大学;2011年
2 张艳辉;外包XML数据库查询验证技术研究[D];暨南大学;2012年
3 李瑞;分析型数据库查询优化技术的研究与实现[D];吉林大学;2009年
4 马京京;基于本体的港口关系数据库语义查询系统研究[D];北京交通大学;2014年
5 徐宇弘;Hadoop集群监控系统的设计与实现[D];哈尔滨工业大学;2013年
6 于晨昕;管理信息系统中的DB2数据库查询优化研究[D];华中科技大学;2009年
7 于晨昕;管理信息系统中的DB2数据库查询优化研究[D];华中科技大学;2009年
8 汤沁;PAR平台中数据库查询优化方案研究及实现[D];江西师范大学;2013年
9 李亚秀;关系数据库中的字符数据加密技术[D];燕山大学;2006年
10 王瑞;关系数据库关键词的纠错性查询及优化研究[D];广西大学;2013年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026