收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

大数据环境下数据存储与查询的研究

李雷  
【摘要】:在这个大数据时代,由于数据量的增大使许多原本很简单的数据操作都变得很难。如何去分析处理海量的数据成为了一个很有挑战性的难题。为了解决这个难题,人们从数据存储、数据传输、数据分析上提出了很多新的方法和模型。当下最热门的大数据存储与处理模型是Hadoop和MapReduce,他们被很多产业界的公司和学术界的学者所研究和认同。作为大数据处理的一种解决方案,MapReduce确实能够解决一些问题,但在很多情况下它依旧是不适用的,所以新的解决方案的研究还需要继续。 我们主要是基于CMD存储模型来做大数据存储与查询的探索。传统CMD存储模型是基于单机多磁盘的,它已无法适应当前数据库领域所面临的挑战。我们第一次将CMD扩展到了分布式环境下,在集群上建立CMD存储方案,并通过它解决了大数据量的多路不等值连接操作问题,设计了全新的图数据存储模型,并对CMD在高维数据与大规模分布式集群上遇到的难题做了一定的优化。 对于普通的关系数据,我们并设计了基于CMD的多路不等值连接操作这一新的分布式连接操作算法,并与传统关系型数据库和Hadoop分布式并行计算环境进行了效率对比。因为该算法充分利用了CMD存储方法对各属性的索引,所以在效率上要比关系型数据库和Hadoop分布式环境高很多,是解决大数据量的多路不等值连接操作的有效方案。 对于图数据,我们也将其转化成CMD能够存储的数据格式,并对其可行性与效率做了一定探索,给出了基于CMD存储方案的图数据存储方法与基本操作。这是一个全新的图数据存储模型,相比于之前的图数据存储模型,它减弱了点的重要性而更关注于边的属性,使基于边的查询的速度得以大大提升。 对于CMD存储方法在高维数据与大规模集群上会遇到的一些难题,我们给出了一些改进方案。我们提出的属性分组方案,使属性有层次的进行划分,解决了原始CMD在面对高维数据会产生大量碎片的问题。我们提出的节点分组方案,也解决了当CMD部署在大规模集群上会使数据划分过于零散而网络通讯代价激增的问题。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 ;NAS挑战DAS[J];微电脑世界;2001年01期
2 ;数据存储要换代[J];每周电脑报;2001年09期
3 张军华;数据存储及实用解决方案二例[J];鄂州大学学报;2002年04期
4 乐凡;数据集中 存储突破——平安保险数据存储的现状与发展[J];计算机周刊;2002年20期
5 吴峰;集中环境下证券行业的数据存储方案[J];中国金融电脑;2002年04期
6 张讴东 ,徐燕 ,高卿;多种数据存储媒质及其在数据多级存储中的应用[J];现代电视技术;2003年10期
7 张景亮 ,苏琳琳 ,赵世来;数据存储与管理在“数字化工程”中的地位[J];科学与管理;2003年06期
8 赖莉;数据存储方案分析[J];渝西学院学报(自然科学版);2004年04期
9 朱克亮;;图书馆数据存储方案的比较[J];电脑知识与技术;2005年33期
10 崔宝娣;;企业网络数据存储技术应用分析[J];电力信息化;2008年09期
11 肖平;徐娟;;打造企业稳固的数据存储中心[J];中国管理信息化;2009年19期
12 华珺;;海纳百川——万兆IP SAN的价值[J];信息方略;2009年04期
13 艾崧溥;荆小兵;姚晓静;王晓强;邢建平;;中小企业第三方数据存储与灾备服务需求研究[J];信息技术;2011年08期
14 谭黔林;;图书馆数据存储发展趋势——云存储[J];科技情报开发与经济;2011年29期
15 赵炬红;陈坤彦;;浅议企业计算机数据存储与安全管理[J];煤炭技术;2012年03期
16 陈达忠;;通信运营商大数据量系统数据存储云化浅谈[J];邮电设计技术;2012年03期
17 王雪玉;;传统数据存储的不足与建议[J];金融科技时代;2012年05期
18 高晓明;;解析如何做好计算机数据存储的设备安全管理[J];信息与电脑(理论版);2013年03期
19 罗彬;阳静;袁赟;;数字图书馆中大数据存储的应用研究[J];科技与企业;2013年18期
20 干福熹;对有机材料用于高密度光盘数据存储的几点看法[J];科学通报;1999年20期
中国重要会议论文全文数据库 前10条
1 孙峥皓;汪宏昇;阎岩;岑小锋;邓志均;;浅谈信息化战争对大数据存储与分析的要求及对策[A];2013第一届中国指挥控制大会论文集[C];2013年
2 张沁川;王厚军;;基于大容量闪存的数据存储与管理[A];2008中国仪器仪表与测控技术进展大会论文集(Ⅲ)[C];2008年
3 霍跃华;;IP SAN在煤炭企业数据存储的应用研究[A];煤矿自动化与信息化——第20届全国煤矿自动化与信息化学术会议暨第2届中国煤矿信息化与自动化高层论坛论文集[C];2010年
4 盛磊;李美华;程林;;一种轧钢过程数据存储方法[A];全国冶金自动化信息网2014年会论文集[C];2014年
5 王文峰;李佳;;刍议信息系统数据存储与备份系统的构建方式[A];2011年云南电力技术论坛论文集(入选部分)[C];2011年
6 张艳秋;李建中;杨艳;张兆功;;混合负载多媒体服务器的数据存储和数据提交[A];第二十届全国数据库学术会议论文集(研究报告篇)[C];2003年
7 王淑江;;烟台日报传媒集团存储体系规划[A];中国新闻技术工作者联合会五届一次理事会暨学术年会论文集(上篇)[C];2009年
8 ;Wallstor网络数据存储的新技术应用[A];江苏省微型电脑应用协会产学研成果交流会会议资料[C];2010年
9 韦大伟;;分布式数据存储中的机密性保护[A];2006年全国开放式分布与并行计算机学术会议论文集(三)[C];2006年
10 韩德志;;内网数据存储安全关键技术的研究与实现[A];2010年第16届全国信息存储技术大会(IST2010)论文集[C];2010年
中国博士学位论文全文数据库 前2条
1 张杰;一种高速数据存储方法的研究[D];中国科学技术大学;2013年
2 付永忠;基于AFM和硫系相变材料的超高密度数据存储机理研究[D];江苏大学;2010年
中国硕士学位论文全文数据库 前10条
1 萨日娜;一种基于综合阈值的分布式数据存储方法[D];哈尔滨工程大学;2011年
2 胡海光;钻探工程项目数据存储及其安全的应用研究[D];中国地质大学(北京);2012年
3 史玉丽;基于嵌入式的数据存储与通信模块的设计[D];内蒙古师范大学;2012年
4 陈春霖;云计算中数据存储的完整性校验模型研究[D];东华大学;2013年
5 单旭;异构大数据存储方法研究[D];北京交通大学;2014年
6 王永洲;基于HDFS的存储技术的研究[D];南京邮电大学;2013年
7 王东晨;网络试验平台数据存储研究与实现[D];北京邮电大学;2013年
8 韩方;基于DSP的数据存储与传输系统的研究与设计[D];武汉理工大学;2010年
9 张洪娜;云计算平台中数据存储与文件管理的研究[D];广东工业大学;2011年
10 晏亚飞;移动通讯设备高可用系统中的数据存储技术[D];清华大学;2003年
中国重要报纸全文数据库 前10条
1 中国惠普公司网络存储事业部技术顾问 周志峰;数据存储面临七大挑战[N];计算机世界;2001年
2 本报记者 郭涛;中兴通讯打造安全高效的大数据存储[N];中国计算机报;2013年
3 本报记者 陈巍巍;数据存储 进化正当时[N];计算机世界;2013年
4 本报记者 黄锐;绿源巢:大数据存储弄潮儿[N];东莞日报;2014年
5 毛玲玲 吴非;数据存储 安全为重[N];解放军报;2014年
6 本报记者 郭涛;华为存储:高端存储、大数据存储齐头并进[N];中国计算机报;2013年
7 本报记者 方慧玲;纠删码技术:大数据存储的“安全卫士”[N];江苏科技报;2014年
8 ;培养皿中的数据存储[N];网络世界;2007年
9 ;2010年中小企业数据存储市场六大趋势[N];网络世界;2010年
10 本报实习记者 陈勋燕;数据存储网络凸现商机 上海邮通转型前景看好[N];通信信息报;2002年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978