收藏本站
《哈尔滨工程大学》 2004年
收藏 | 手机打开
二维码
手机客户端打开本文

数据仓库中实视图的选择与维护技术的研究

周丽娟  
【摘要】:数据仓库是随着企业竞争对于决策信息的需求以及计算机技术的飞速发展而产生的。数据仓库的结构设计是数据仓库研究和开发的核心问题之一。 数据仓库是多个分布的、异质的、自治的数据源的集成信息库,数据仓库中的信息以视图的形式存储,叫实视图。它通过物理上的预先存储,加快了用户的查询响应时间。实视图的使用和研究大大提高了数据仓库的性能。 本文主要研究以下几个方面的内容: (1)实视图的选择是数据仓库开发中的重要问题。数据仓库存储实视图主要为OLAP查询,用户查询响应时间是首要考虑的问题,本文提出查询代价视图选择问题,为解决该问题,给出了视图选择代价图及其构造方法。同时给出了查询代价视图选择问题的代价模型和实视图选择的过程。 (2)基于给出的代价模型,采用贪心算法动态实现实视图的选择。原有的贪心算法解决实视图选择问题时,需要人为的确定实视图的个数k,很难达到满意的结果,从而影响OLAP的分析质量。本文使用贪心算法动态的确定k值,采用满足查询代价给定的限制下,使维护代价最小的选择原则。 (3)本文提出了使用随机算法解决实视图选择问题。首先给出了遗传方法解决查询代价视图选择问题的算法(GA_VSP),提出对查询代价视图选择问题的遗传算法表示方法,针对给定的视图选择代价图,将其转换为遗传算法中的二进制编码,以及对应的遗传操作,同时定义了适应度函数。 在GA_VSP算法中,随着遗传进程的发展,产生合法解会变得越来越困难,很多解都被排除在外了,加长了产生解的时间,增大了产生解的难度。因此,本文提出一种改进算法(SAGA_VSP),将模拟退火思想和遗传算法综合在一起,来解决查询代价视图选择问题。改进的算法中利用遗传规则产生选择实视图的方案,利用模拟退火的思想判断是否接受该方案,这样进一步扩展解的选取空间,保持解的多样性,降低产生解的难度,从而去找到近似最优解。 为了测试实视图选择算法的功能和效率,进行了实验模拟,证明了所采用的方法给出了实视图选择的近似解,同时也表明对查询代价视图选择问题,GA_VSP算法优于贪心算法,SAGA_VSP的算法优于GA_VSP算法。随机算法用于实视图的选择将成为数据仓库开发中有价值的工具。 (4)实视图的维护有重新计算和增量维护两种方法。本文采用增量维护的方法,但在增量计算中,同一个视图采用不同的方法,其增量的计算量是不同的,导致的视图维护代价也不同,因此提出最小增量维护的思想和策略,给出实视图和增量表达式的定义以及最小增量维护的算法。在数据量极大的数据仓库中,这种方法降低了实视图的维护代价,提高了数据仓库的处理效 哈尔滨工程大学博士学位论文 率。 (5)本文利用实视图技术来优化查询。在分析传统优化查询方法的基础 上,对其进行改进和扩展,给出了使用实视图进行优化查询的方法和策略, 以有效提高查询处理速度。 (6)本文通过分析数据仓库体系模型的特点,结合CRGC一CIMS工程, 提出在CIMS环境下数据仓库的体系结构,并给出CRGC一CIMS的数据仓库 的建模及总体结构,以为实视图技术的进一步研究提供一个应用环境。
【学位授予单位】:哈尔滨工程大学
【学位级别】:博士
【学位授予年份】:2004
【分类号】:TP311.13

手机知网App
【引证文献】
中国期刊全文数据库 前1条
1 潘小燕;;数据仓库中物化视图选择算法的分析和比较[J];科技风;2010年19期
中国硕士学位论文全文数据库 前6条
1 张宇航;数据仓库中物化视图选取算法的研究[D];辽宁工程技术大学;2010年
2 邸金华;基于UML的住房公积金管理系统的分析与设计[D];内蒙古大学;2006年
3 宋晓燕;数据仓库实视图增量维护策略研究[D];沈阳航空工业学院;2007年
4 咸兵;物化视图研究与实现[D];清华大学;2006年
5 姜晶;基于数据仓库和OLAP技术的电子交警管理系统的研究与实现[D];哈尔滨工程大学;2007年
6 杜刚;商业银行海量历史数据集成存储与访问控制系统设计与实现[D];复旦大学;2008年
【参考文献】
中国期刊全文数据库 前10条
1 马洪杰,曲晓飞,刘波;数据仓库系统的三层开发结构及其应用[J];大连理工大学学报;2000年01期
2 李子木,莫倩,徐明,周兴铭;数据仓库中多视图环境下的联机维护[J];计算机研究与发展;1999年08期
3 于戈;张斌;单吉第;郑怀远;;数据仓库管理中的若干关键技术[J];计算机科学;1997年02期
4 李子木;莫倩;周兴铭;;数据仓库技术的研究现状及未来方向[J];计算机科学;1998年04期
5 高宏;李建中;;数据仓库上的Gcube操作[J];计算机科学;1999年04期
6 焦容;陈金海;;数据仓库视图的一致性维护[J];计算机科学;1999年09期
7 刘义,李亮;基于关系数据库构造多维数据模型[J];计算机工程;2000年09期
8 杨光,张雷,艾波;数据仓库及联机分析处理技术[J];计算机工程与科学;2000年01期
9 李建中,hlju.edu.cn,高宏;一种数据仓库的多维数据模型[J];软件学报;2000年07期
10 张宜红,徐宏炳,王能斌;实视图选取策略及其实现技术[J];软件学报;1998年12期
【共引文献】
中国期刊全文数据库 前10条
1 孙娜;;基于数据仓库技术的电力设备决策系统[J];安徽电气工程职业技术学院学报;2010年01期
2 朱文婕;数据仓库技术及应用[J];安徽电子信息职业技术学院学报;2004年Z1期
3 尹荣章,郑诚;一个基于关系数据库的联机分析处理系统的设计与实现[J];安徽大学学报(自然科学版);2001年01期
4 秦宗贵;;OLAP技术及其在电信行业中的应用[J];安徽科技;2006年06期
5 樊同科;;基于数据仓库技术的蔬菜产销决策支持系统[J];安徽农业科学;2011年31期
6 仲红,谢荣传;基于Web的数据仓库[J];安徽师范大学学报(自然科学版);2002年02期
7 覃遵跃;在左边是单属性的函数依赖集中寻找关系模式候选码的算法[J];安庆师范学院学报(自然科学版);2003年02期
8 覃遵跃,徐洪智,冯峻松,蔡国民;利用函数依赖图寻找关系模式的候选码[J];安庆师范学院学报(自然科学版);2004年01期
9 张红云,马垣;数据挖掘与决策支持系统的关系[J];鞍山师范学院学报;2001年03期
10 崔柔刚,温阳东;数据挖掘技术在医院信息管理中的应用[J];安徽水利水电职业技术学院学报;2004年01期
中国重要会议论文全文数据库 前10条
1 宋亚男;刘春和;李新俊;齐俊臣;;导弹贮存可靠性数据仓库的研究与设计[A];中国电子学会可靠性分会第十三届学术年会论文选[C];2006年
2 杨静;;基于数据仓库决策分析的电力系统应用研究[A];安徽省电机工程学会优秀学术论文集(2002-2003)[C];2005年
3 曹红松;杨臻;;在轻武器动态优化、仿真系统中数据库的设计与应用[A];信息科学与微电子技术:中国科协第三届青年学术年会论文集[C];1998年
4 杨真;李也白;籍志兵;常一帆;;数据分析技术在商品销售中的应用研究[A];2007北京地区高校研究生学术交流会通信与信息技术会议论文集(上册)[C];2008年
5 王伟;;GIS在数据仓库中的实现模型研究[A];中国电子学会第十五届信息论学术年会暨第一届全国网络编码学术年会论文集(下册)[C];2008年
6 张帆;余开朝;;数据仓库在CRM系统中的应用研究[A];全国第九届企业信息化与工业工程学术会议论文集[C];2005年
7 欧晓鸥;王志立;邵发森;;一种基于数据集市的产品设计知识处理方法[A];全国先进制造技术高层论坛暨第七届制造业自动化与信息化技术研讨会论文集[C];2008年
8 吴泽雄;;数据仓库浅谈[A];海南省通信学会学术年会论文集(2005)[C];2005年
9 秦科;;数据市场分析与数据仓库建设[A];计算机模拟与信息技术会议论文集[C];2001年
10 夏火松;;基于DW的市场营销决策支持系统[A];2000中国控制与决策学术年会论文集[C];2000年
中国博士学位论文全文数据库 前10条
1 张臻;西南季节性干旱区农业资源与环境要素数据库设计与应用[D];西南大学;2011年
2 周明;基于数据挖掘的制造业采购DSS理论及方法研究[D];天津大学;2009年
3 甘亮;面向网络安全监控的流数据处理技术研究[D];国防科学技术大学;2011年
4 李刚;知识发现的图模型方法[D];中国科学院软件研究所;2001年
5 邱冬生;湖南省国土资源地学数据库模型与数据融合技术应用研究[D];中南大学;2001年
6 曹蓟光;联机分析挖掘处理技术(OLAM)的研究[D];浙江大学;2001年
7 张山山;地理信息系统时空数据建模研究及应用[D];西南交通大学;2001年
8 王靖飞;动物疾病诊断专家系统的研究与应用[D];东北农业大学;2002年
9 陈元;基于分类模型的知识发现过程研究[D];国防科学技术大学;2002年
10 黄金才;网络环境下决策资源共享与决策支持系统快速开发环境研究[D];国防科学技术大学;2001年
中国硕士学位论文全文数据库 前10条
1 庞岱军;泰安市农村信息服务平台建设研究[D];山东农业大学;2009年
2 梁大圣;空间数据仓库的设计与构建[D];山东农业大学;2010年
3 周霞;基于粗糙集的电子商务交易知识获取研究[D];哈尔滨工程大学;2010年
4 龚健;数据挖掘技术在农业信息服务中的应用研究[D];安徽农业大学;2010年
5 肖晴;基于数据仓库的高速公路信息管理系统的研究[D];长沙理工大学;2010年
6 宫昭坤;天津港关港信息交互平台的设计与实现[D];大连海事大学;2010年
7 张蕾;天津港煤炭货运管理系统的设计与实现[D];大连海事大学;2010年
8 高龙;天津港数据集成平台关键技术应用研究[D];大连海事大学;2010年
9 周翔;决策支持技术在企业销售系统中的应用研究[D];中国海洋大学;2010年
10 纪雅楠;数据挖掘技术在高校成人教育学生成绩分析中的应用研究[D];中国海洋大学;2010年
【同被引文献】
中国期刊全文数据库 前10条
1 胡孔法,宋爱波,董逸生,赵庆建;数据仓库中实视图聚集函数的增量更新[J];东南大学学报(自然科学版);2002年01期
2 李慧,闻豪;基于数据仓库的OLAP技术的研究[J];电脑知识与技术;2005年02期
3 张向荣,焦李成;基于免疫克隆选择算法的特征选择[J];复旦学报(自然科学版);2004年05期
4 黄小华;个人住房公积金贷款如何实行标准化管理[J];中国房地产;2005年11期
5 刘丽萍;;由“住房公积金全国第一案”谈“公积金中心”风险控制[J];中国房地产;2006年01期
6 范建江;;改革住房公积金制度的四点建设[J];中国房地产;2006年01期
7 何敏先;;追缴追讨住房公积金的难点与建议[J];中国房地产;2006年01期
8 夏秀峰,鲍玉斌,于戈;数据仓库管理员的职责和任务[J];沈阳航空工业学院学报;2003年03期
9 冷春霞;数据仓库中物化视图的选择方法[J];华东理工大学学报(自然科学版);2005年02期
10 赖明珠;周丽娟;;基于AO View Graph的实视图选择算法的研究[J];哈尔滨理工大学学报;2006年06期
中国博士学位论文全文数据库 前6条
1 陈金玉;数据仓库实体化视图联机—致性维护研究[D];重庆大学;2002年
2 戴超凡;数据仓库中数据志跟踪的理论与方法研究[D];中国人民解放军国防科学技术大学;2002年
3 寇玮华;基于并行分层式链路分布式数据更新的协议及副本复制研究[D];西南交通大学;2004年
4 徐震;支持多策略的安全数据库系统研究[D];中国科学院研究生院(软件研究所);2005年
5 周剑峰;城市交通共用信息平台数据处理技术研究[D];吉林大学;2005年
6 李泽海;数据仓库中多维数据处理与查询相关技术的研究[D];吉林大学;2005年
中国硕士学位论文全文数据库 前10条
1 曹宜;UML建模语言研究及在模拟计算机系统中的应用[D];大连理工大学;2000年
2 张红霞;数据仓库中实体化视图一致性维护方法研究[D];郑州大学;2002年
3 牟传兴;基于UML和统一过程的建模技术的研究与应用[D];北京工业大学;2003年
4 王秀容;基于UML建模的邮件系统的设计与实现[D];昆明理工大学;2003年
5 龚进明;面向对象思想在“影像管理系统”设计中的应用[D];苏州大学;2003年
6 刘鹤鸣;基于UML技术的库存管理系统设计[D];吉林大学;2004年
7 朱冀;基于数据仓库的统计报表系统的设计与实现[D];电子科技大学;2004年
8 郭永生;数据仓库增量维护技术的研究[D];东南大学;2004年
9 张志锋;基于UML的制造业管理信息系统分析与设计[D];华中科技大学;2004年
10 陈娟;基于UML的面向对象的系统分析与设计[D];武汉理工大学;2005年
【二级引证文献】
中国期刊全文数据库 前1条
1 黄光明;;数据仓库预聚集增量更新的研究[J];贵阳学院学报(自然科学版);2008年01期
中国硕士学位论文全文数据库 前5条
1 杨进;多维模型中渐变维度的研究与应用[D];华中科技大学;2009年
2 杨晶;数据仓库技术在银行信贷风险预警系统中的应用[D];北京交通大学;2008年
3 姚敏强;基于数据仓库和OLAP的大型养路机械基层段信息系统研究[D];西南交通大学;2008年
4 杜刚;商业银行海量历史数据集成存储与访问控制系统设计与实现[D];复旦大学;2008年
5 黄智;数据仓库在我国高速公路运输量统计分析中的应用研究[D];长安大学;2012年
【二级参考文献】
中国期刊全文数据库 前4条
1 龚声蓉,熊璋,刘旭东;基于内容的可视化多媒体查询语言的设计[J];北京航空航天大学学报;1998年04期
2 刘卫东,王诚,周立柱;大型信息系统的数据组织[J];计算机研究与发展;1997年06期
3 张宜红;樊惠娟;王能斌;;数据仓库的实现技术[J];计算机科学;1998年02期
4 李建明,童秉枢,许隆文;产品数据管理技术的现状与发展[J];计算机集成制造系统-CIMS;1998年06期
【相似文献】
中国期刊全文数据库 前10条
1 伍小荣,伍庆华;数据仓库技术的研究现状和未来方向[J];现代电子技术;2002年06期
2 刘玉葆,孟志青;数据仓库中数据查询的一种实现策略[J];零陵师范高等专科学校学报;1999年03期
3 庄冠华,骆斌,陈世福;对象视图模型及其创建和删除算法[J];计算机应用研究;2004年06期
4 廖飒;;实视图一致性维护ECA算法的改进[J];长春工业大学学报(自然科学版);2008年04期
5 徐忠健,袁捷,陆菊康,陈毛狗;超市决策支持系统的数据仓库的设计与实现[J];计算机工程与应用;2003年18期
6 赖明珠;周丽娟;;基于AO View Graph的实视图选择算法的研究[J];哈尔滨理工大学学报;2006年06期
7 刘静岩,王守茂,杨连贺;数据仓库技术概述[J];天津纺织工学院学报;2000年04期
8 赵军,王国胤,吴中福,李华;数据仓库及其实现[J];数字通信;2000年08期
9 柳池,周丽娟,林文卿;实视图选择技术的研究及实现[J];哈尔滨理工大学学报;2005年03期
10 徐忠健,袁捷,杨倩;基于Agent的三层数据仓库系统体系结构的研究[J];计算机工程;2003年03期
中国重要会议论文全文数据库 前10条
1 张宜红;肖利;俞本权;陈淼;王能斌;;数据仓库中实视图的维护技术[A];第十五届全国数据库学术会议论文集[C];1998年
2 宋擒豹;沈钧毅;;数据仓库体系结构研究[A];第十六届全国数据库学术会议论文集[C];1999年
3 王腾蛟;王海洋;洪晓光;董继润;;一种多实视图环境下的流水线处理模式[A];第十五届全国数据库学术会议论文集[C];1998年
4 严哲南;楼荣生;;窗口算法问题的解决方案[A];第十六届全国数据库学术会议论文集[C];1999年
5 杨崇联;谢旭升;;基于数据仓库的政府决策支持服务系统研究与实现[A];第二十三届中国数据库学术会议论文集(技术报告篇)[C];2006年
6 刘刚;付忠广;申鹏飞;郑玲;靳涛;;基于发电厂机组数据仓库的数据挖掘系统的研究[A];2004电站自动化信息化学术技术交流会议论文集[C];2004年
7 姚卿达;屈定春;;联邦数据库互操作方法在数据仓库中的应用[A];数据库研究进展97——第十四届全国数据库学术会议论文集(下)[C];1997年
8 唐蕾;张剡;柏文阳;徐洁磐;;数据仓库工具集NGDW-1的设计与实现[A];第十九届全国数据库学术会议论文集(研究报告篇)[C];2002年
9 廖燕玲;卢语丹;阮艳萍;高丽金;;高校教学决策支持系统的数据仓库研究[A];Proceedings of 2010 National Vocational Education of Communications and Information Technology Conference (2010 NVCIC)[C];2010年
10 刘伟宏;李晋晋;何瑷;徐洁磐;;数据仓库及其在OMNIX中的实现[A];第十七届全国数据库学术会议论文集(技术报告篇)[C];2000年
中国重要报纸全文数据库 前10条
1 段云峰 杨凤年 宋俊德;数据仓库必不可少[N];计算机世界;2002年
2 ;“快钱”的速度[N];网络世界;2005年
3 ;IBM DB2商业智能软件[N];中国计算机报;2007年
4 刘庆;颗粒归“仓”,刀枪入“库”[N];网络世界;2006年
5 本报记者 赵晓涛;中国人保试点数据仓库[N];网络世界;2004年
6 本报记者 潘永花;实时企业的决策引擎[N];网络世界;2005年
7 邹大斌;关注商业智能的性能[N];计算机世界;2007年
8 ;数据仓库向外部用户开放[N];网络世界;2007年
9 本报记者 谌力;心甘情愿的“不归路”[N];网络世界;2005年
10 ;企业范围内部署BI效果更佳[N];网络世界;2010年
中国博士学位论文全文数据库 前10条
1 周丽娟;数据仓库中实视图的选择与维护技术的研究[D];哈尔滨工程大学;2004年
2 孟京辉;经营单位级森林经营数据仓库研建及应用研究[D];中国林业科学研究院;2011年
3 朱传华;三峡库区地质灾害数据仓库与数据挖掘应用研究[D];中国地质大学;2010年
4 陈燕;数据仓库的设计与实现[D];大连理工大学;2000年
5 克里木;自适应数据仓库系统的研究与实现[D];大连理工大学;2003年
6 宋杰;面向多类型数据源的数据仓库构建及ETL关键技术的研究[D];东北大学;2008年
7 曹恒;北京市房山区环境污染突发事件应急决策支持系统研究[D];北京林业大学;2012年
8 陈金玉;数据仓库实体化视图联机—致性维护研究[D];重庆大学;2002年
9 徐小博;客户关系管理系统的安全防护机制[D];吉林大学;2012年
10 麦永浩;数据仓库和数据挖掘方法研究及其在公安信息建设中的应用[D];华东理工大学;2000年
中国硕士学位论文全文数据库 前10条
1 郭炳治;数据仓库实视图一致性维护中的并发控制机制研究[D];中国海洋大学;2003年
2 鲍务英;基于数据仓库的客户关系管理研究——销售系统中的实视图自维护优化[D];浙江工业大学;2003年
3 郭永生;数据仓库增量维护技术的研究[D];东南大学;2004年
4 张森;公安人口数据仓库系统的设计与实现[D];北京交通大学;2010年
5 陈思维;基于数据仓库的区域环境质量预测分析系统[D];电子科技大学;2010年
6 张艳;维度建模在电信数据仓库中的应用[D];西安电子科技大学;2010年
7 蒋昙飞;面向社区服务的数据仓库关键技术研究与实现[D];西安电子科技大学;2009年
8 彭辛庚;电信企业数据仓库经营分析系统的设计与实现[D];湖南大学;2009年
9 赵在宽;基于数据仓库的气象干旱指标挖掘研究与实现[D];解放军信息工程大学;2009年
10 李慧;基于数据仓库的图书馆决策支持系统[D];天津大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026