收藏本站
《华东师范大学》 2016年
收藏 | 手机打开
二维码
手机客户端打开本文

基于列存储机制下多维数据仓库模型的优化与研究

徐晓锦  
【摘要】:大数据时代,数据仓库中的数据量急剧增加,传统的基于行存储数据仓库系统在处理海量数据时面临巨大的挑战。由于列存储系统将同一属性的数据聚集存储,可以有效减少系统查询时无关列的读取,非常适用于数据仓库这种查询密集型系统。故近年来,大型企业的数据仓库系统都正逐渐由行存储模式向列存储模式转变。目前,在列存储技术领域的研究已经取得了一些研究成果,但是在列存储机制下的模型优化、数据压缩等方面还有待于做进一步的研究。传统行存储数据仓库多采用多维模型建设,基于多维模型上的查询操作常常会涉及到维表和事实表之间的关联。然而在分布式列存储机制下,维表和事实表上的各个属性都会被分配存储到不同的节点上,这样不但会破坏维表上层次信息的完整性,并且维表和事实表之间的关联也会引入大量的数据迁移,从而降低系统的性能。故为了消除维表和事实表之间的关联并保持维表上层次信息的完整性,本文借鉴泛关系模式的思想,采用维层次局部域编码和维层次全局域编码方式相结合对星型模型维表中的层次信息进行编码整合,将维表的层次信息压缩进事实表形成无连接星型模型,这样既能保存了维表层次信息的完整性又可以使得事实表能够独立处理数据从而更加适用于分布式列存储系统。由于CUP处理与磁盘I/O技术发展的不平衡性,导致在处理海量数据时,磁盘I/O成为系统最大的瓶颈。而数据压缩正是减少I/O的有效技术手段,并且列存储机制将同一属性的数据存储,增加了相邻数据之间的相似性,使得数据序列更容易被压缩。故本文结合优化后模型组织的数据特点,提出了一种采用简单字典编码、游程编码、位图编码、前缀编码、空值压缩、LZ编码的复合压缩策略,对优化后的模型组织的数据进行压缩存储,从而节省了大量的空间,进一步提升了系统的性能。本文将设计的优化方法和压缩策略在Teradata并行数据库平台上进行验证评估,实验结果表明本文提出的优化方法和压缩策略能有效提升系统的性能。
【学位授予单位】:华东师范大学
【学位级别】:硕士
【学位授予年份】:2016
【分类号】:TP311.13

手机知网App
【相似文献】
中国期刊全文数据库 前10条
1 鲍蓉;;多版本数据仓库模型设计[J];计算机工程;2008年11期
2 陈元佐;企业的数据仓库模型建立[J];贵州大学学报(自然科学版);2001年01期
3 CSDN;;数据仓库模型[J];程序员;2002年12期
4 侯建春,陈梦东;干部管理领域数据仓库模型设计[J];微机发展;2005年11期
5 张月,潘郁;物流管理数据仓库模型[J];南京工业大学学报(自然科学版);2005年02期
6 李振华;;基于数据仓库模型电子政务的研究[J];电脑知识与技术(学术交流);2007年18期
7 武彤;;高校教学质量分析与评估系统的数据仓库模型[J];贵州工业大学学报(自然科学版);2007年05期
8 李丽娟;夏洪山;;收益管理系统数据仓库模型建立研究[J];江苏航空;2007年03期
9 万文君;;高校图书数据仓库模型设计与应用[J];中国电力教育;2008年13期
10 吕罗文;张书杰;翟东升;尹海;;征信系统数据仓库模型的研究[J];北京工业大学学报;2009年03期
中国重要会议论文全文数据库 前2条
1 薛红;翁贻方;曹利红;施彦;;超市商业智能系统的数据仓库模型和联机分析研究[A];中国计量协会冶金分会2008年会论文集[C];2008年
2 薛红;翁贻方;曹利红;施彦;;超市商业智能系统的数据仓库模型和联机分析研究[A];2008全国第十三届自动化应用技术学术交流会论文集[C];2008年
中国硕士学位论文全文数据库 前10条
1 徐晓锦;基于列存储机制下多维数据仓库模型的优化与研究[D];华东师范大学;2016年
2 王是君;物流信息的数据仓库模型及其构建的应用研究[D];大连理工大学;2007年
3 付立辰;电力企业中数据仓库模型的研究与应用[D];华北电力大学;2012年
4 林婷;中海油企业级数据仓库模型的设计与实现[D];北京工业大学;2013年
5 李玥;基于工作流的分布式数据仓库模型的研究[D];山西师范大学;2012年
6 贺晓锋;基于Teradata的银行数据仓库模型研究与优化[D];厦门大学;2008年
7 王传栋;面向科学试验的工程数据仓库模型研究[D];南京航空航天大学;2005年
8 史晓艳;E-learning系统数据仓库模型的研究和应用[D];首都经济贸易大学;2010年
9 武彤;教学质量分析与评估系统的数据仓库模型与ETL设计[D];贵州大学;2007年
10 王文军;基于商空间理论的数据仓库模型研究[D];中北大学;2008年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026