收藏本站
《国防科学技术大学》 2009年
收藏 | 手机打开
二维码
手机客户端打开本文

数据仓库环境下的物化视图选择研究

李明  
【摘要】: 数据仓库的出现可以将海量历史数据以一致的视图提交给用户,方便用户对其进行联机分析查询(OLAP),但其往往包含了大量聚合操作,复杂度很高,如何提高数据仓库性能以便快速响应OLAP查询成为了研究热点。物化视图是克服这一问题的关键技术之一,它将可能的查询进行预处理并将结果保存于数据仓库之中,这样可以有效降低查询的代价,缩减回答查询的时间。但是在实际应用过程中,这种物化受到了空间、时间等限制,不可能将所有视图都进行物化,而且不同视图之间存在一定的依存关系,完全物化反而会带来冗余,因而必须对视图集进行有选择的部分物化,这对提升数据仓库性能至关重要。本文正是基于这一问题对数据仓库环境下的物化视图选择进行了研究,主要工作可以概括为以下四点: (1)深入分析了物化视图选择问题的基本研究方法,对此问题进行了形式化描述;对现有的研究成果进行综述,并且对比分析了这些算法各自的优缺点,指出了现有算法中存在的不足。 (2)提出了一种改进型BPUS视图选择算法MQMVS,它首先通过冗余视图压缩的方式来化简原始视图格,并且将物化视图选择过程划分为两个阶段,即查询视图选择和维护视图选择,实现了对查询和维护的全局优化,通过实验表明该算法在效率和性能上均优于传统静态物化视图选择算法。 (3)在静态物化视图选择的基础上提出了动态优化算法,该算法可以通过视图索引来实现视图的动态特性,缓解了静态物化视图选择过程中出现的空间-性能饱和问题,通过实验可以证明动态优化后的物化视图集性能优于单纯的静态物化视图集。 (4)结合超市数据仓库的开发实例,将本文提出的物化视图选择算法应用其中,开发了OLAP分析展现客户端对数据仓库进行分析展现,事实证明物化后的数据仓库运行性能明显提升。
【学位授予单位】:国防科学技术大学
【学位级别】:硕士
【学位授予年份】:2009
【分类号】:TP311.13

手机知网App
【引证文献】
中国硕士学位论文全文数据库 前1条
1 王勇;数据仓库中数据查询优化方法的研究与应用[D];湖南大学;2011年
【参考文献】
中国期刊全文数据库 前10条
1 万鲁河;刘万宇;崔金香;;基于模拟退火算法的空间度量物化选择[J];哈尔滨工业大学学报;2008年07期
2 张柏礼,孙志挥,孙翔;物化视图选择的预处理算法[J];计算机研究与发展;2004年10期
3 秦振;张维明;邓苏;刘青宝;;基于本体的战场信息表示方法研究[J];计算机工程与应用;2008年11期
4 雷旭;袁捷;;实视图动态选择算法中重叠实视图的处理[J];计算机工程;2006年06期
5 王良;栗跃鹏;杨政;;TPC-H自动测试工具TPCHDriver的研究[J];计算机工程;2009年02期
6 李明;刘青宝;陆昌辉;;新型物化视图选择算法[J];计算机应用;2009年06期
7 张柏礼;孙志挥;周晓云;杨宜东;朱玉全;;静态物化视图的动态Cache优化算法[J];软件学报;2006年05期
8 林子雨;杨冬青;宋国杰;王腾蛟;唐世渭;;实时主动数据仓库中多维数据实视图的选择[J];软件学报;2008年02期
9 林子雨;杨冬青;王腾蛟;宋国杰;;实视图选择研究[J];软件学报;2009年02期
10 林小静;薛永生;;数据仓库中物化视图选择策略[J];计算机工程与设计;2007年13期
中国硕士学位论文全文数据库 前4条
1 王云峰;数据仓库与OLAP技术研究及应用[D];中南大学;2005年
2 高志新;OLAP中数据立方体的研究[D];哈尔滨理工大学;2007年
3 赵秀丽;数据仓库中物化视图选择问题的研究[D];河北工业大学;2007年
4 吕晓;基于聚类的动态物化视图选择研究[D];江苏大学;2009年
【共引文献】
中国期刊全文数据库 前10条
1 孙娜;;基于数据仓库技术的电力设备决策系统[J];安徽电气工程职业技术学院学报;2010年01期
2 杨中全;;数据仓库技术在消防领域中的应用[J];安防科技;2006年08期
3 朱文婕;数据仓库技术及应用[J];安徽电子信息职业技术学院学报;2004年Z1期
4 尹荣章,郑诚;一个基于关系数据库的联机分析处理系统的设计与实现[J];安徽大学学报(自然科学版);2001年01期
5 秦宗贵;;OLAP技术及其在电信行业中的应用[J];安徽科技;2006年06期
6 仲红,谢荣传;基于Web的数据仓库[J];安徽师范大学学报(自然科学版);2002年02期
7 陈涛;陈茂华;巩仔鹏;梁嵘;邓李蓉;胡月琴;;基于互联网的中医病案OLAP系统的开发与应用[J];安徽中医学院学报;2010年05期
8 郑春香;董甲东;;分类技术研究及在高校人才识别中的应用[J];安庆师范学院学报(自然科学版);2007年01期
9 崔柔刚,温阳东;数据挖掘技术在医院信息管理中的应用[J];安徽水利水电职业技术学院学报;2004年01期
10 陈彩虹;郭旭文;;长株潭地区景观格局经营调控决策支持系统分析与设计[J];北方园艺;2009年02期
中国重要会议论文全文数据库 前10条
1 宋亚男;刘春和;李新俊;齐俊臣;;导弹贮存可靠性数据仓库的研究与设计[A];中国电子学会可靠性分会第十三届学术年会论文选[C];2006年
2 杨静;;基于数据仓库决策分析的电力系统应用研究[A];安徽省电机工程学会优秀学术论文集(2002-2003)[C];2005年
3 陈丽娟;杨欣;夏安邦;;热电厂MES系统数据仓库的设计与应用[A];2005年全国自动化新技术学术交流会论文集[C];2005年
4 张健沛;卢海红;;基于XML的数据仓库历史数据的查找与归档策略研究[A];2006北京地区高校研究生学术交流会——通信与信息技术会议论文集(下)[C];2006年
5 杨真;李也白;籍志兵;常一帆;;数据分析技术在商品销售中的应用研究[A];2007北京地区高校研究生学术交流会通信与信息技术会议论文集(上册)[C];2008年
6 张帆;余开朝;;数据仓库在CRM系统中的应用研究[A];全国第九届企业信息化与工业工程学术会议论文集[C];2005年
7 欧晓鸥;王志立;邵发森;;一种基于数据集市的产品设计知识处理方法[A];全国先进制造技术高层论坛暨第七届制造业自动化与信息化技术研讨会论文集[C];2008年
8 吴泽雄;;数据仓库浅谈[A];海南省通信学会学术年会论文集(2005)[C];2005年
9 秦科;;数据市场分析与数据仓库建设[A];计算机模拟与信息技术会议论文集[C];2001年
10 舒俊;韦司滢;;基于OLAP的建筑施工企业财务数据多维分析系统的研究[A];第11届海峡两岸信息管理发展策略研讨会论文集[C];2005年
中国博士学位论文全文数据库 前10条
1 周明;基于数据挖掘的制造业采购DSS理论及方法研究[D];天津大学;2009年
2 侯东风;流式数据多维建模与查询关键技术研究[D];国防科学技术大学;2010年
3 甘亮;面向网络安全监控的流数据处理技术研究[D];国防科学技术大学;2011年
4 徐慎刚;中国纳税遵从问题的研究[D];华中科技大学;2011年
5 颜文跃;浓缩数据立方高效实化和快速查询方法研究[D];华中科技大学;2011年
6 任艳;基于公理模糊集与支持向量机的知识发现方法与应用研究[D];大连理工大学;2011年
7 孟祥福;Web数据库柔性查询关键技术研究[D];东北大学;2010年
8 李刚;知识发现的图模型方法[D];中国科学院软件研究所;2001年
9 曹蓟光;联机分析挖掘处理技术(OLAM)的研究[D];浙江大学;2001年
10 王靖飞;动物疾病诊断专家系统的研究与应用[D];东北农业大学;2002年
中国硕士学位论文全文数据库 前10条
1 庞岱军;泰安市农村信息服务平台建设研究[D];山东农业大学;2009年
2 黄晓欣;民生银行统一考核系统研究与实施[D];大连理工大学;2010年
3 龚健;数据挖掘技术在农业信息服务中的应用研究[D];安徽农业大学;2010年
4 张宇航;数据仓库中物化视图选取算法的研究[D];辽宁工程技术大学;2010年
5 肖晴;基于数据仓库的高速公路信息管理系统的研究[D];长沙理工大学;2010年
6 张蕾;天津港煤炭货运管理系统的设计与实现[D];大连海事大学;2010年
7 高龙;天津港数据集成平台关键技术应用研究[D];大连海事大学;2010年
8 周翔;决策支持技术在企业销售系统中的应用研究[D];中国海洋大学;2010年
9 纪雅楠;数据挖掘技术在高校成人教育学生成绩分析中的应用研究[D];中国海洋大学;2010年
10 崔山;网络会议平台数据分析系统的设计与实现[D];苏州大学;2010年
【同被引文献】
中国期刊全文数据库 前8条
1 王迪,李师贤;数据仓库和数据挖掘技术在ERP中的应用[J];计算机工程与应用;2001年20期
2 赵慧勤,李秀兰;ORACLE数据库应用系统的优化策略[J];计算机工程与应用;2003年27期
3 王元珍;龚卫华;;数据库异构集群的性能模型研究[J];计算机科学;2006年06期
4 李文海;冯玉才;马晓鸣;付铨;胡文斌;;面向ROLAP的时态垂直粗分区方法[J];计算机学报;2008年07期
5 李明;刘青宝;陆昌辉;;新型物化视图选择算法[J];计算机应用;2009年06期
6 宋彩霞,路新春;Oracle数据库基于索引SQL优化方法的研究与实现[J];计算机工程与设计;2004年12期
7 吕晓;陈耿;朱玉全;;基于聚类的动态物化视图选择研究[J];计算机工程与设计;2009年15期
8 张闯;周丽娟;高志新;褚金凤;;Oracle 10g索引技术在数据仓库中应用[J];自动化技术与应用;2007年01期
中国博士学位论文全文数据库 前1条
1 陈苗;海量地学数据查询优化关键技术的研究[D];吉林大学;2008年
中国硕士学位论文全文数据库 前2条
1 李静;数据仓库中位图索引技术的研究[D];山东大学;2007年
2 徐辉良;基于ORACLE的数据库性能调优技术研究[D];西南交通大学;2009年
【二级参考文献】
中国期刊全文数据库 前10条
1 励晓健,陈志伟,黄厚宽;数据仓库的子立方体及其相应算法[J];北方交通大学学报;2002年02期
2 孙惠琴,熊璋;立方体实体化的遗传算法设计与实现[J];北京航空航天大学学报;2004年07期
3 李雪瑞;赵冬青;;空间信息本体的开发[J];测绘科学;2006年03期
4 胡孔法,宋爱波,董逸生,赵庆建;数据仓库中实视图聚集函数的增量更新[J];东南大学学报(自然科学版);2002年01期
5 裴蕾,陶树平;在数据仓库中如何有效地实现数据立方体的计算[J];信息技术;2005年08期
6 冷春霞;数据仓库中物化视图的选择方法[J];华东理工大学学报(自然科学版);2005年02期
7 王元珍,陈懿;层次-关系型DBMS的实视图及其增量维护[J];华中理工大学学报;1999年10期
8 李琪白,英彩;数据仓库中维的建模和查询[J];计算机研究与发展;2002年05期
9 李盛恩,王珊;Star Cube——一种高效的数据立方体实现方法[J];计算机研究与发展;2004年04期
10 张柏礼,孙志挥,孙翔;物化视图选择的预处理算法[J];计算机研究与发展;2004年10期
中国博士学位论文全文数据库 前1条
1 李泽海;数据仓库中多维数据处理与查询相关技术的研究[D];吉林大学;2005年
中国硕士学位论文全文数据库 前1条
1 衣振萍;数据仓库中基于访问频率的动态物化视图的研究[D];山东大学;2005年
【相似文献】
中国期刊全文数据库 前10条
1 王宜贵;;基于遗传算法的物化视图优化方法[J];计算机与现代化;2011年08期
2 张柏礼;孙志挥;周晓云;张净;;DMVR:一种基于Cache的动态物化视图置换算法[J];应用科学学报;2006年02期
3 张柏礼;孙志挥;周晓云;杨宜东;朱玉全;;静态物化视图的动态Cache优化算法[J];软件学报;2006年05期
4 顾军华;赵秀丽;谭庆;;蚁群算法在物化视图选择问题中的应用[J];计算机应用;2007年11期
5 姜合;杨春花;耿玉水;;超市数据仓库中物化视图的选择与调整策略[J];计算机应用与软件;2007年03期
6 林颖,沈洁,谢翠华,杨耘;受限多维物化视图选择算法[J];计算机工程;2005年17期
7 高功彪;以数据仓库为基础的企业CRM系统的研究与实现[J];情报杂志;2005年06期
8 龚安;窦万蕊;王彦;;基于蚁群-遗传算法的物化视图选取策略[J];微计算机应用;2010年01期
9 陈前林,陈定方,李和平;从数据库到数据仓库[J];湖北工业大学学报;2004年03期
10 杨开英,陈为;数据仓库在电信行业中的应用[J];武汉理工大学学报(信息与管理工程版);2005年02期
中国重要会议论文全文数据库 前10条
1 严勇;袁晴晴;周皓峰;花鸣;汪卫;施伯乐;;物化视图选择方法的研究[A];第二十届全国数据库学术会议论文集(研究报告篇)[C];2003年
2 杨崇联;谢旭升;;基于数据仓库的政府决策支持服务系统研究与实现[A];第二十三届中国数据库学术会议论文集(技术报告篇)[C];2006年
3 张柏礼;孙志挥;孙翔;;物化视图选择的预处理算法[A];第二十一届中国数据库学术会议论文集(研究报告篇)[C];2004年
4 廖燕玲;卢语丹;阮艳萍;高丽金;;高校教学决策支持系统的数据仓库研究[A];Proceedings of 2010 National Vocational Education of Communications and Information Technology Conference (2010 NVCIC)[C];2010年
5 刘伟宏;李晋晋;何瑷;徐洁磐;;数据仓库及其在OMNIX中的实现[A];第十七届全国数据库学术会议论文集(技术报告篇)[C];2000年
6 杨文川;郁文生;朱武杰;刘洋;德妍;;基于Web的统计数据仓库原型的研究与实现(英文)[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
7 刘守义;耿磊;;综合决策支持系统[A];第11届全国计算机在现代科学技术领域应用学术会议论文集[C];2003年
8 严哲南;楼荣生;;窗口算法问题的解决方案[A];第十六届全国数据库学术会议论文集[C];1999年
9 刘刚;付忠广;申鹏飞;郑玲;靳涛;;基于发电厂机组数据仓库的数据挖掘系统的研究[A];2004电站自动化信息化学术技术交流会议论文集[C];2004年
10 张红;夏小玲;;IMVPP一种为物化视图选择构造搜索空间的新策略[A];第26届中国数据库学术会议论文集(A辑)[C];2009年
中国重要报纸全文数据库 前10条
1 段云峰 杨凤年 宋俊德;数据仓库必不可少[N];计算机世界;2002年
2 本报记者 谭啸;Teradata:数据仓库走向社会化[N];计算机世界;2010年
3 ;“快钱”的速度[N];网络世界;2005年
4 ;IBM DB2商业智能软件[N];中国计算机报;2007年
5 刘庆;颗粒归“仓”,刀枪入“库”[N];网络世界;2006年
6 本报记者 赵晓涛;中国人保试点数据仓库[N];网络世界;2004年
7 本报记者 潘永花;实时企业的决策引擎[N];网络世界;2005年
8 邹大斌;关注商业智能的性能[N];计算机世界;2007年
9 ;数据仓库向外部用户开放[N];网络世界;2007年
10 本报记者 谌力;心甘情愿的“不归路”[N];网络世界;2005年
中国博士学位论文全文数据库 前10条
1 孟京辉;经营单位级森林经营数据仓库研建及应用研究[D];中国林业科学研究院;2011年
2 曹恒;北京市房山区环境污染突发事件应急决策支持系统研究[D];北京林业大学;2012年
3 朱传华;三峡库区地质灾害数据仓库与数据挖掘应用研究[D];中国地质大学;2010年
4 陈燕;数据仓库的设计与实现[D];大连理工大学;2000年
5 克里木;自适应数据仓库系统的研究与实现[D];大连理工大学;2003年
6 宋杰;面向多类型数据源的数据仓库构建及ETL关键技术的研究[D];东北大学;2008年
7 曹霄洁;基于时尚知识管理的服装概念设计方法研究[D];东华大学;2013年
8 陈金玉;数据仓库实体化视图联机—致性维护研究[D];重庆大学;2002年
9 周丽娟;数据仓库中实视图的选择与维护技术的研究[D];哈尔滨工程大学;2004年
10 周明;基于数据挖掘的制造业采购DSS理论及方法研究[D];天津大学;2009年
中国硕士学位论文全文数据库 前10条
1 Abdoul-Aziz Rambazo;[D];湖南大学;2010年
2 陈思维;基于数据仓库的区域环境质量预测分析系统[D];电子科技大学;2010年
3 张艳;维度建模在电信数据仓库中的应用[D];西安电子科技大学;2010年
4 蒋昙飞;面向社区服务的数据仓库关键技术研究与实现[D];西安电子科技大学;2009年
5 彭辛庚;电信企业数据仓库经营分析系统的设计与实现[D];湖南大学;2009年
6 李慧;基于数据仓库的图书馆决策支持系统[D];天津大学;2010年
7 袁玮;新疆联通经营分析系统中数据仓库的应用[D];电子科技大学;2009年
8 文宇;点击流数据仓库在电子商务中的应用研究[D];电子科技大学;2009年
9 字锦茗;数据仓库技术在机场管理中的应用[D];昆明理工大学;2010年
10 刘清松;基于数据仓库的电信企业经营分析的算法实现[D];东北林业大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026