收藏本站
《武汉理工大学》 2006年
收藏 | 手机打开
二维码
手机客户端打开本文

对多维数据存储技术的研究

孔德松  
【摘要】:在目前激烈的市场竞争中,企业要想在竞争中立于不败之地,决策者必须要做出快速、及时、准确的决策。这些决策的选择不再仅依据决策者的主观感觉和经验,更主要来源于对企业过去业务数据的分析,他们需要对这些数据进行不同角度的分析。根据对这些数据的分析结果,预测未来的商业趋势。若要有效、高效的分析历史数据,就必须对其进行合理的组织与存储。 本文讨论了数据在磁盘中的存储以及组织结构,同时,为了提高查询分析的效率,还要为数据文件建立多种索引;要对多维数据仓库中的多维数据进行粒度的划分;对数据进行分割;对休眠数据进行处理等。粒度是数据仓库中数据单位的细化或综合程度的级别,越详细的数据粒度越小。粒度越大,查询效率越高,占用的存储空间少,但能完成的查询也就越少。数据分割是对数据仓库中的细节数据进行分割,通常的分割标准有:按时间分割、按地理位置分割等。数据量的大小是决定分割的主要因素。休眠数据管理是指对以后不用的数据从要进行查询分析的数据仓库中剔除。这样可以在查询时减少扫描的次数从而提高效率。 这里介绍了两种方法可以存储多维数据,一种是以二维关系表的形式存储,一种是以多维数组的形式存储,分别对应ROLAP与MOLAP。关系表存储法也就是用维表和事实表存储多维数据。用维表记录多维数据中的维度,用事实表记录多维数据立方体各个维度的交点的度量值。由于在查询时要进行多个表之间的连接,因而响应时间比较长,但对于有大量空白数据的数据库来说,可以节约很多存储空间。多维数组存储法是直接处理存放在多维数组中的数据,这种数据已经反映了各种数据的组合,并且每个单元都可以直接访问,一般而言,查询速度比较快而且稳定。但在矩阵稀疏的情况下,会存在大量的数据空白点,从而造成大量的空间浪费。针对MOLAP中出现的空间浪费问题,我们要对其进行压缩存储。可以通过增加一个冗余的标志位的方法记录某种组合是否有实际可用的数据,在存储时只存储有数据的点,剔除空白点,达到压缩存储多维稀疏矩阵的目的。
【学位授予单位】:武汉理工大学
【学位级别】:硕士
【学位授予年份】:2006
【分类号】:TP333

【参考文献】
中国期刊全文数据库 前10条
1 李慧,闻豪;基于数据仓库的OLAP技术的研究[J];电脑知识与技术;2005年02期
2 郭龙江,李建中;空间数据库的索引技术[J];黑龙江大学自然科学学报;2005年03期
3 饶元,冯博琴;数据仓库的存储优化设计[J];计算机工程与应用;2003年36期
4 蒋外文,熊东平,张肖霞;基于多维数据库的MOLAP存储及查询技术研究[J];计算机工程与应用;2005年24期
5 李盛恩,陆世潮;联机分析多维存储结构的研究[J];计算机应用与软件;2005年09期
6 冯建华,蒋旭东,周立柱;用于数据仓储的一种改进的多维存储结构[J];软件学报;2002年08期
7 康志钢,黄厚宽;MOLAP的数据存储设计与实现[J];铁路计算机应用;2004年03期
8 李睿,王加阳,李超良;多维数据模型的变粒度存储策略研究[J];微机发展;2003年10期
9 谭念龙;空间数据存储技术及其应用[J];微电子学与计算机;2002年01期
10 侯丛,马玉祥,刘彦明;数据存储结构与检索效率关系的研究——关于DNA数据存储结构与比对效率[J];现代计算机(专业版);2004年01期
中国硕士学位论文全文数据库 前1条
1 齐肇建;基于数据仓库的数据存储和数据组织的研究[D];重庆大学;2004年
【共引文献】
中国期刊全文数据库 前10条
1 邵玉平;李庆德;陈煜;;基于ER模型的军交运输保障装备管理多维数据模型[J];兵工自动化;2010年10期
2 初晓炜;伦绍玲;;面向政府决策支持的统计地理信息系统设计[J];电脑编程技巧与维护;2010年20期
3 周渝霞;刘道践;郝玉清;;基于Oracle的OLTP与OLAP数据库设计及实现[J];电脑编程技巧与维护;2012年10期
4 姜永发,闾国年,张书亮,兰小机;基于有向图的管线网GIS一体化数据模型[J];辽宁工程技术大学学报;2005年05期
5 赛燕燕;韩勇;赵强;;基于VRGIS平台的数字世园系统的设计与实现[J];工程勘察;2012年06期
6 郝园;揭金良;苗春利;;数据仓库技术及其在电信行业中的应用研究[J];电脑与电信;2010年05期
7 张江水;陈晓斌;李歆;黄维;王秀莲;;基于OGSA-DAI扩展的空间数据访问与集成[J];地理信息世界;2012年03期
8 陈晓斌;葛文;余慧明;李歆;;基于网格的空间数据分布式查询技术研究[J];测绘工程;2012年06期
9 陈晓斌;葛文;李歆;黄维;;一种空间数据分布式处理方法[J];测绘工程;2013年01期
10 付瑞雪,杨会志,陈军霞,鲍智文;基于C++Builder的多维分析的实现[J];河北工业科技;2005年01期
中国博士学位论文全文数据库 前10条
1 马亚明;嵌入式空间数据库理论与技术研究[D];解放军信息工程大学;2011年
2 周海燕;空间数据挖掘的研究[D];中国人民解放军信息工程大学;2003年
3 陈湘涛;数据仓库与数据挖掘技术在新型铝电解控制系统中的应用研究[D];中南大学;2004年
4 王占全;基于地理信息系统空间数据挖掘若干关键技术的研究[D];浙江大学;2005年
5 黄定轩;企业核心能力智能挖掘应用基础研究[D];西南交通大学;2005年
6 涂齐亮;昆明城市地质数据三维GIS分析与可视化平台研究[D];吉林大学;2007年
7 李一帆;数字矿山信息系统的研究及应用[D];中国科学院研究生院(武汉岩土力学研究所);2007年
8 陈富强;数据立方体压缩技术研究[D];华南理工大学;2010年
9 梁银;空间数据仓库中查询优化技术研究[D];中国矿业大学;2009年
10 王莉;基于ArcGIS的矿山管理信息系统关键技术研究与集成[D];中国地质大学(北京);2009年
中国硕士学位论文全文数据库 前10条
1 吴珺;数据挖掘技术在彩票销售数据分析中的应用研究[D];郑州大学;2010年
2 路瑞强;基于均值和标准差的空间索引方法研究[D];哈尔滨工程大学;2010年
3 黄强;基于数据仓库的电信本地网营销辅助系统研究与实现[D];电子科技大学;2010年
4 刘晖;林业海量数据的存储和传输方法研究[D];中南林业科技大学;2009年
5 张军玲;数据仓库在电信综合运营支撑系统中的应用[D];西安电子科技大学;2009年
6 王静;数据仓库在电信企业中的应用与研究[D];西安电子科技大学;2009年
7 江岚;基于数据挖掘技术在超市管理系统中的应用[D];华东师范大学;2011年
8 郭旭;基于C#的帽儿山森林多资源管理系统的设计与开发[D];东北林业大学;2011年
9 邱靖;基于GWT框架的企业小型管理信息系统的研究与实现[D];华南理工大学;2011年
10 朱小林;基于SOA架构的OLAP系统设计与实现[D];电子科技大学;2011年
【二级参考文献】
中国期刊全文数据库 前10条
1 计国君;数据仓库技术的数据存贮与检索[J];东南大学学报(哲学社会科学版);2002年S1期
2 周丽娟,邓颖,马春英,柳池;数据仓库技术和OLAP研究[J];佳木斯大学学报(自然科学版);2001年03期
3 刘义,常戈群;基于关系数据库的OLAP的研究[J];计算机工程与应用;2001年08期
4 王继奎,宁云晖;数据仓库中的一种立方体数据模型[J];计算机工程与应用;2002年05期
5 刘震,邓苏,曹泽文;基于规则的数据仓库主题分析技术研究[J];计算机工程与应用;2002年12期
6 柳莺,赵艳红,钱旭,刘东红;数据仓库技术研究和应用探讨[J];计算机应用;2001年02期
7 李新荣,米新江;数据仓库的研究与发展现状[J];廊坊师范学院学报;2001年04期
8 ;View Creation for Queriesin Object Oriented Databases[J];Journal of Computer Science and Technology;1999年04期
9 王菲;数据仓库中数据组织和管理的研究[J];情报科学;2002年07期
10 王腾蛟,王海洋,洪晓光,董继润;多物化视图并行增量保持三阶段模式[J];软件学报;1999年11期
【相似文献】
中国期刊全文数据库 前10条
1 ;Sybase顺应仓储建设潮[J];每周电脑报;1997年16期
2 ;NCR SAS全球联盟数据仓库与挖掘二合一[J];每周电脑报;1997年43期
3 何雪梅,唐常杰,王利强,张天庆;基于Web的数据仓库的研究[J];计算机应用;1998年10期
4 Bill lnmon,叶思敏;何为数据仓库?[J];中文信息;1998年06期
5 赵晨;NCR宣传企业形象[J];计算机与网络;1999年09期
6 单莹;数据仓库辅助电信行业决策支持系统的构想[J];电信技术;2000年09期
7 姜建清;加速银行数据仓库建设[J];中国金融电脑;2000年08期
8 马敬春;关于数据仓库及其开发过程的探讨[J];华南金融电脑;2000年01期
9 徐仲;数据仓库技术及其在图书馆中的应用[J];图书馆建设;2001年01期
10 张摘月 ,王峰;数据仓库技术在基层人民银行的应用研究[J];中国金融电脑;2001年08期
中国重要会议论文全文数据库 前10条
1 严哲南;楼荣生;;窗口算法问题的解决方案[A];第十六届全国数据库学术会议论文集[C];1999年
2 杨崇联;谢旭升;;基于数据仓库的政府决策支持服务系统研究与实现[A];第二十三届中国数据库学术会议论文集(技术报告篇)[C];2006年
3 刘刚;付忠广;申鹏飞;郑玲;靳涛;;基于发电厂机组数据仓库的数据挖掘系统的研究[A];2004电站自动化信息化学术技术交流会议论文集[C];2004年
4 姚卿达;屈定春;;联邦数据库互操作方法在数据仓库中的应用[A];数据库研究进展97——第十四届全国数据库学术会议论文集(下)[C];1997年
5 唐蕾;张剡;柏文阳;徐洁磐;;数据仓库工具集NGDW-1的设计与实现[A];第十九届全国数据库学术会议论文集(研究报告篇)[C];2002年
6 廖燕玲;卢语丹;阮艳萍;高丽金;;高校教学决策支持系统的数据仓库研究[A];Proceedings of 2010 National Vocational Education of Communications and Information Technology Conference (2010 NVCIC)[C];2010年
7 宋擒豹;沈钧毅;;数据仓库体系结构研究[A];第十六届全国数据库学术会议论文集[C];1999年
8 刘伟宏;李晋晋;何瑷;徐洁磐;;数据仓库及其在OMNIX中的实现[A];第十七届全国数据库学术会议论文集(技术报告篇)[C];2000年
9 曹顺良;李荣;张忠平;汪卫;朱扬勇;李亦学;;BioDW:一个整合的生物信息学数据仓库平台[A];第二十届全国数据库学术会议论文集(技术报告篇)[C];2003年
10 毛明志;黄春贤;;一种新的数据仓库ETL框架及其应用[A];第二十三届中国数据库学术会议论文集(技术报告篇)[C];2006年
中国重要报纸全文数据库 前10条
1 段云峰 杨凤年 宋俊德;数据仓库必不可少[N];计算机世界;2002年
2 ;“快钱”的速度[N];网络世界;2005年
3 ;IBM DB2商业智能软件[N];中国计算机报;2007年
4 刘庆;颗粒归“仓”,刀枪入“库”[N];网络世界;2006年
5 本报记者 赵晓涛;中国人保试点数据仓库[N];网络世界;2004年
6 本报记者 潘永花;实时企业的决策引擎[N];网络世界;2005年
7 邹大斌;关注商业智能的性能[N];计算机世界;2007年
8 ;数据仓库向外部用户开放[N];网络世界;2007年
9 本报记者 谌力;心甘情愿的“不归路”[N];网络世界;2005年
10 ;企业范围内部署BI效果更佳[N];网络世界;2010年
中国博士学位论文全文数据库 前10条
1 孟京辉;经营单位级森林经营数据仓库研建及应用研究[D];中国林业科学研究院;2011年
2 朱传华;三峡库区地质灾害数据仓库与数据挖掘应用研究[D];中国地质大学;2010年
3 陈燕;数据仓库的设计与实现[D];大连理工大学;2000年
4 克里木;自适应数据仓库系统的研究与实现[D];大连理工大学;2003年
5 宋杰;面向多类型数据源的数据仓库构建及ETL关键技术的研究[D];东北大学;2008年
6 曹恒;北京市房山区环境污染突发事件应急决策支持系统研究[D];北京林业大学;2012年
7 陈金玉;数据仓库实体化视图联机—致性维护研究[D];重庆大学;2002年
8 徐小博;客户关系管理系统的安全防护机制[D];吉林大学;2012年
9 麦永浩;数据仓库和数据挖掘方法研究及其在公安信息建设中的应用[D];华东理工大学;2000年
10 曹霄洁;基于时尚知识管理的服装概念设计方法研究[D];东华大学;2013年
中国硕士学位论文全文数据库 前10条
1 陈思维;基于数据仓库的区域环境质量预测分析系统[D];电子科技大学;2010年
2 张艳;维度建模在电信数据仓库中的应用[D];西安电子科技大学;2010年
3 蒋昙飞;面向社区服务的数据仓库关键技术研究与实现[D];西安电子科技大学;2009年
4 彭辛庚;电信企业数据仓库经营分析系统的设计与实现[D];湖南大学;2009年
5 赵在宽;基于数据仓库的气象干旱指标挖掘研究与实现[D];解放军信息工程大学;2009年
6 李慧;基于数据仓库的图书馆决策支持系统[D];天津大学;2010年
7 袁玮;新疆联通经营分析系统中数据仓库的应用[D];电子科技大学;2009年
8 文宇;点击流数据仓库在电子商务中的应用研究[D];电子科技大学;2009年
9 张静波;基于数据仓库的企业决策支持系统的研究与应用[D];电子科技大学;2009年
10 字锦茗;数据仓库技术在机场管理中的应用[D];昆明理工大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026