收藏本站
《东华大学》 2009年
收藏 | 手机打开
二维码
手机客户端打开本文

数据仓库的存储研究

李晔锋  
【摘要】: 随着市场竞争的加剧,社会对信息的需求量日渐上升,从大量数据中提取所需要的信息进行决策显得更加重要,传统的数据库系统已经无法满足要求。随着数据库技术的发展,一种支持决策的、特殊的数据存储技术应运而生,它就是数据仓库。 获取信息的能力是判断一个数据仓库系统是否先进、完善的标准之一,在一个数据仓库中存放的信息大多数是数据。为了构造一个完善的数据仓库系统,首要任务就是设计一个高效、严谨、符合数据仓库特点的数据存储结构。数据仓库是在数据库的基础上发展而来,它的存储结构与绝大多数关系数据库有类似之处,因此完全可以针对已有的数据库产品,改造其数据存储结构,使它能够满足数据仓库的特点。 本文在绪论部分首先简单介绍了数据仓库的定义、作用和特点;然后分析了当前开源两大开源数据库产品——PostgreSQL和MySQL的数据存储特性;接着根据数据库和数据仓库的特点,从数据和系统设计两方面对它们分别进行比较;最后分析了数据仓库中数据存储方面的研究现状,指出当前数据仓库的研究领域偏向数据仓库的应用,而关于数据仓库底层实现方面的研究却极其罕见。 本文的第二章主要从数据仓库的物理存储角度讨论存储大量数据的技术。随着计算机技术的发展,计算机系统不断对存储器系统提出高速和大容量要求。为了能够在合理价格下满足既要高速,又要大容量的要求,采用存储器层次结构技术能够使存储器的性价比达到优化,从而满足越来越高的要求。存储器的层次结构由高速缓冲存储器、主存储器、第二级存储器和第三级存储器组成,其中数据仓库的数据大部分存储在以磁盘为代表的第二级存储器中。为了对磁盘上的数据进行高速有效地读写,本文对磁盘的结构和特性进行了分析,并提出了四种改善磁盘访问性能的方法。 本文的第三至五章属于核心部分,以具体的设计和实现为主,以理论研究为辅。本文的第三章根据商业数据库的现有模型,针对数据仓库的特点,提出了一种基于数据仓库的数据存储层次结构模型,并对该模型中各个层次的逻辑结构进行设计与实现,包括数据块和记录存储结构的设计、数据块内记录操作的实现、簇和段结构的设计等。本文的第四章以索引为主题,简要介绍了一般的顺序索引的概念,并对一种特殊的顺序索引——B+树索引进行了重点的、深入的分析、设计和研究,包括B+树索引的存储结构设计、B+树索引的创建、B+树索引操作的实现等。本文的第五章由缓冲区和文件两部分组成。在缓冲区管理中,本文介绍了缓冲区管理的工作原理和两种常见的缓冲区管理策略并对缓冲区管理器的结构进行了设计,实现了缓冲区中块的查找方法,并提出了一种新的块的替换策略。文件部分主要设计了文件和文件组的存储结构,并简单介绍了文件组的概念。 最后,总结了本文的研究成果,指出了数据仓库底层实现的研究和发展的方向。
【学位授予单位】:东华大学
【学位级别】:硕士
【学位授予年份】:2009
【分类号】:TP311.13

手机知网App
【参考文献】
中国期刊全文数据库 前10条
1 刘霞 ,刘杰;浅谈数据仓库[J];福建电脑;2003年06期
2 范秋生;;浅谈虚拟存储器的应用[J];福建电脑;2007年04期
3 詹磊,李强,潘清;实时磁盘调度算法研究[J];海军工程大学学报;2004年05期
4 董佑平,彭渤;SQL Server索引技术[J];山东交通学院学报;2004年01期
5 吴永英,雷红利,许向阳;一种自底向上构造索引B~+树的方法[J];计算机工程与应用;2004年06期
6 林河水;程伟;孙玉芳;;PostgreSQL存储管理机制研究[J];计算机科学;2004年12期
7 朱斌,黄水清;PostgreSQL与MySQL的比较研究初探[J];计算机时代;2003年12期
8 顾治华;忽朝俭;;MySQL存储引擎与数据库性能[J];计算机时代;2006年10期
9 赵俏;;数据库与数据仓库的比较[J];辽宁师专学报(自然科学版);2007年04期
10 陈慧萍;陈岚峰;王建东;;大型数据仓库实现技术的研究[J];计算机工程与设计;2006年21期
【共引文献】
中国期刊全文数据库 前10条
1 王恩德;刘畅;;面向对象技术在构建数据仓库中的应用研究[J];吉林大学学报(信息科学版);2007年05期
2 万剑华;刘娜;马张宝;孟慧;;“数字城市”的空间数据库设计方法研究[J];测绘科学;2006年06期
3 段岩;邵梦;;计算机控制系统的面向对象设计概述[J];电脑知识与技术(学术交流);2007年23期
4 余绍俊;;数据仓库构建技术探究[J];电脑知识与技术;2011年08期
5 杨莉国;欧付娜;刘庆海;程海涛;卢亮;;数据仓库相关技术研究综述[J];电脑知识与技术;2011年10期
6 汤敏丽;;基于MySQL数据库的物理存储格式的研究与解析[J];赤峰学院学报(自然科学版);2012年14期
7 董坤;薄杨;;基于连续分配和索引分配的混合外存分配策略研究[J];广西教育学院学报;2013年03期
8 何晖;;Linux平台下的MySQL存储管理技术研究[J];计算机光盘软件与应用;2013年15期
9 范新民;;高并发环境下MySQL软硬件配置优化[J];福建师范大学学报(自然科学版);2013年06期
10 肖伟吉;奚建清;欧国华;;封闭立方体反转索引查询优化技术[J];计算机应用研究;2008年10期
中国博士学位论文全文数据库 前4条
1 张径;电子政务环境下的政府信息流程再造与供应链管理模式研究[D];天津大学;2012年
2 喻梅;基于P2P系统的分布式查询算法的研究[D];天津大学;2008年
3 朱传华;三峡库区地质灾害数据仓库与数据挖掘应用研究[D];中国地质大学;2010年
4 刘勇;基于GPU的内存数据库索引技术研究[D];华南理工大学;2013年
中国硕士学位论文全文数据库 前10条
1 毛影;树型结构的应用与平衡查找树的研究[D];江西师范大学;2010年
2 陈思维;基于数据仓库的区域环境质量预测分析系统[D];电子科技大学;2010年
3 元张毅;高速数据网络中实时流量监测相关技术研究[D];北京邮电大学;2011年
4 淡欣;基于J2EE平台MVC模式的健康评估与预测管理系统[D];电子科技大学;2011年
5 饶平;多格式海量数据统一存取的效率优化[D];东北石油大学;2011年
6 李谋平;基于PHP的图书馆设备管理系统研究与开发[D];安徽大学;2011年
7 罗航;基于web的通信原理教学信息管理与评估系统的设计与实现[D];华中科技大学;2011年
8 葛亚微;公安刑侦数据仓库的构建与应用研究[D];天津大学;2012年
9 李文;基于关键字的模糊查询技术的研究[D];福建师范大学;2011年
10 杨永刚;间歇式染色机中央集成控制系统的研究与开发[D];浙江理工大学;2011年
【二级参考文献】
中国期刊全文数据库 前10条
1 胡孔法,宋爱波,董逸生,赵庆建;数据仓库中实视图聚集函数的增量更新[J];东南大学学报(自然科学版);2002年01期
2 彭小宁;数据仓库与数据挖掘技术[J];怀化师专学报;2002年02期
3 秦啸,韩宗芬,庞丽萍,李胜利;双头磁盘系统的实时调度算法[J];华中理工大学学报;1998年10期
4 黄清华,王光彩,顾君忠;连续媒体服务的磁盘调度算法--EDLSF[J];计算机工程;2001年09期
5 张波;数据仓库技术在教务管理中的应用探索[J];内蒙古师范大学学报(教育科学版);2004年07期
6 郦军;存储器管理中的虚拟存储技术[J];微机发展;1997年04期
7 王红;高速缓冲存储器性能解析[J];微机发展;2000年05期
8 杨思春;基于数据仓库的数据挖掘技术分析研究[J];微机发展;2003年09期
9 关俐,梁洪峻;数据仓库与数据挖掘[J];微型电脑应用;1999年09期
10 张智清;索引算法研究[J];现代计算机;1995年Z1期
【相似文献】
中国期刊全文数据库 前10条
1 ;NCR SAS全球联盟数据仓库与挖掘二合一[J];每周电脑报;1997年43期
2 何雪梅,唐常杰,王利强,张天庆;基于Web的数据仓库的研究[J];计算机应用;1998年10期
3 Bill lnmon,叶思敏;何为数据仓库?[J];中文信息;1998年06期
4 赵晨;NCR宣传企业形象[J];计算机与网络;1999年09期
5 单莹;数据仓库辅助电信行业决策支持系统的构想[J];电信技术;2000年09期
6 姜建清;加速银行数据仓库建设[J];中国金融电脑;2000年08期
7 马敬春;关于数据仓库及其开发过程的探讨[J];华南金融电脑;2000年01期
8 徐仲;数据仓库技术及其在图书馆中的应用[J];图书馆建设;2001年01期
9 张摘月 ,王峰;数据仓库技术在基层人民银行的应用研究[J];中国金融电脑;2001年08期
10 魏小宁;构建数据仓库系统的技术分析[J];中国金融电脑;2001年09期
中国重要会议论文全文数据库 前10条
1 严哲南;楼荣生;;窗口算法问题的解决方案[A];第十六届全国数据库学术会议论文集[C];1999年
2 杨崇联;谢旭升;;基于数据仓库的政府决策支持服务系统研究与实现[A];第二十三届中国数据库学术会议论文集(技术报告篇)[C];2006年
3 刘刚;付忠广;申鹏飞;郑玲;靳涛;;基于发电厂机组数据仓库的数据挖掘系统的研究[A];2004电站自动化信息化学术技术交流会议论文集[C];2004年
4 姚卿达;屈定春;;联邦数据库互操作方法在数据仓库中的应用[A];数据库研究进展97——第十四届全国数据库学术会议论文集(下)[C];1997年
5 唐蕾;张剡;柏文阳;徐洁磐;;数据仓库工具集NGDW-1的设计与实现[A];第十九届全国数据库学术会议论文集(研究报告篇)[C];2002年
6 廖燕玲;卢语丹;阮艳萍;高丽金;;高校教学决策支持系统的数据仓库研究[A];Proceedings of 2010 National Vocational Education of Communications and Information Technology Conference (2010 NVCIC)[C];2010年
7 宋擒豹;沈钧毅;;数据仓库体系结构研究[A];第十六届全国数据库学术会议论文集[C];1999年
8 刘伟宏;李晋晋;何瑷;徐洁磐;;数据仓库及其在OMNIX中的实现[A];第十七届全国数据库学术会议论文集(技术报告篇)[C];2000年
9 曹顺良;李荣;张忠平;汪卫;朱扬勇;李亦学;;BioDW:一个整合的生物信息学数据仓库平台[A];第二十届全国数据库学术会议论文集(技术报告篇)[C];2003年
10 毛明志;黄春贤;;一种新的数据仓库ETL框架及其应用[A];第二十三届中国数据库学术会议论文集(技术报告篇)[C];2006年
中国重要报纸全文数据库 前10条
1 段云峰 杨凤年 宋俊德;数据仓库必不可少[N];计算机世界;2002年
2 ;“快钱”的速度[N];网络世界;2005年
3 ;IBM DB2商业智能软件[N];中国计算机报;2007年
4 刘庆;颗粒归“仓”,刀枪入“库”[N];网络世界;2006年
5 本报记者 赵晓涛;中国人保试点数据仓库[N];网络世界;2004年
6 本报记者 潘永花;实时企业的决策引擎[N];网络世界;2005年
7 邹大斌;关注商业智能的性能[N];计算机世界;2007年
8 ;数据仓库向外部用户开放[N];网络世界;2007年
9 本报记者 谌力;心甘情愿的“不归路”[N];网络世界;2005年
10 ;企业范围内部署BI效果更佳[N];网络世界;2010年
中国博士学位论文全文数据库 前10条
1 孟京辉;经营单位级森林经营数据仓库研建及应用研究[D];中国林业科学研究院;2011年
2 朱传华;三峡库区地质灾害数据仓库与数据挖掘应用研究[D];中国地质大学;2010年
3 陈燕;数据仓库的设计与实现[D];大连理工大学;2000年
4 克里木;自适应数据仓库系统的研究与实现[D];大连理工大学;2003年
5 宋杰;面向多类型数据源的数据仓库构建及ETL关键技术的研究[D];东北大学;2008年
6 曹恒;北京市房山区环境污染突发事件应急决策支持系统研究[D];北京林业大学;2012年
7 陈金玉;数据仓库实体化视图联机—致性维护研究[D];重庆大学;2002年
8 徐小博;客户关系管理系统的安全防护机制[D];吉林大学;2012年
9 麦永浩;数据仓库和数据挖掘方法研究及其在公安信息建设中的应用[D];华东理工大学;2000年
10 曹霄洁;基于时尚知识管理的服装概念设计方法研究[D];东华大学;2013年
中国硕士学位论文全文数据库 前10条
1 陈思维;基于数据仓库的区域环境质量预测分析系统[D];电子科技大学;2010年
2 张艳;维度建模在电信数据仓库中的应用[D];西安电子科技大学;2010年
3 蒋昙飞;面向社区服务的数据仓库关键技术研究与实现[D];西安电子科技大学;2009年
4 彭辛庚;电信企业数据仓库经营分析系统的设计与实现[D];湖南大学;2009年
5 赵在宽;基于数据仓库的气象干旱指标挖掘研究与实现[D];解放军信息工程大学;2009年
6 李慧;基于数据仓库的图书馆决策支持系统[D];天津大学;2010年
7 袁玮;新疆联通经营分析系统中数据仓库的应用[D];电子科技大学;2009年
8 文宇;点击流数据仓库在电子商务中的应用研究[D];电子科技大学;2009年
9 张静波;基于数据仓库的企业决策支持系统的研究与应用[D];电子科技大学;2009年
10 字锦茗;数据仓库技术在机场管理中的应用[D];昆明理工大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026