收藏本站
《江苏大学》 2009年
收藏 | 手机打开
二维码
手机客户端打开本文

基于聚类的动态物化视图选择研究

吕晓  
【摘要】: 经过多年发展,数据仓库已广泛应用于各行业,随着时间的推移,数据仓库中的数据量迅猛增长,为了解决查询响应所需时间越来越长的问题,物化视图技术应运而生,并已成为数据仓库中的一个研究热点。物化视图技术将视图所对应数据加以实际物理存储,通过预计算的方式加快查询响应速度,然而,其本身也需要耗费大量的资源,因而如何选择一组合适的视图进行物化就成为数据仓库查询中的一个重要问题。现有的物化视图选择技术多为静态选择算法,在一定程度上与决策支持应用系统的动态特性相矛盾,而动态物化视图选择算法研究较少,且存在系统开销过大的缺点。针对这两者的不足,在前人研究的基础上,本文提出并实现了一个基于聚类的动态物化视图选择算法,该算法结合使用了所提出的静态物化视图改进算法与聚类改进算法。 本文在探讨了数据仓库、物化视图选择及聚类分析等技术的基础上,进行了基于聚类的动态物化视图选择方法研究,提出了一种基于聚类的动态物化视图选择算法CBD-MVS。该算法利用聚类技术来对数据仓库中的用户查询语句进行聚类,再对聚类后的各个簇中的用户查询语句进行合并,得到数量较少的候选物化视图,然后再选择一种合适的静态物化视图选择算法来得到最终的物化视图。 本文的主要研究内容为: 1.针对现有聚类算法在对用户查询语句进行聚类处理的不足,把频繁闭项目集应用到聚类分析技术中,通过对用户查询语句执行频繁闭项目集挖掘算法,得到基于属性字段的关联规则,并根据这些规则求得属性字段的关联度矩阵和特征向量,计算出属性字段集相似度,执行k均值聚类算法获得聚类结果。实验表明该方法得到了较好的聚类结果。 2.探讨了数据仓库技术及物化视图技术,着重研究了静态物化视图选择算法Greedy、BPUS和PBS,并分析其不足之处,提出了一种改进算法BGA。该算法使用启发式搜索算法的思想搜索格图,利用数据立方体格图之间存在的依赖关系,结合代价模型筛选出具有最大效益的物化视图,并将存储空间与新增效益共同作为阈值,在获得了与BPUS算法相同视图查询代价效果时,所耗费的时间明显少于后者。实验证明该算法是十分有效的。 3.研究了数据仓库中物化视图的动态选择问题,针对现有物化视图选择算法的不足,提出了一种基于聚类的动态物化视图选择算法CBD-MVS。该算法采用基于频繁闭项目集的聚类算法对用户查询语句进行聚类,应用视图合并算法建立候选物化视图,利用改进的静态选择算法BGA生成最终应该被物化的视图。实验表明该算法是有效可行的。
【学位授予单位】:江苏大学
【学位级别】:硕士
【学位授予年份】:2009
【分类号】:TP311.13

手机知网App
【引证文献】
中国硕士学位论文全文数据库 前2条
1 闫冬冬;基于数据挖掘技术的智能答疑系统的研究与设计[D];太原理工大学;2010年
2 李明;数据仓库环境下的物化视图选择研究[D];国防科学技术大学;2009年
【参考文献】
中国期刊全文数据库 前7条
1 李琪白,英彩;数据仓库中维的建模和查询[J];计算机研究与发展;2002年05期
2 李子木,莫倩,徐明,周兴铭;数据仓库中多视图环境下的联机维护[J];计算机研究与发展;1999年08期
3 杨少军,范金存,李庆忠;数据仓库中物化视图的选择[J];计算机应用;2003年09期
4 刘浩;鲍远律;;A*算法在矢量地图最优路径搜索中的应用[J];计算机仿真;2008年04期
5 李建中,hlju.edu.cn,高宏;一种数据仓库的多维数据模型[J];软件学报;2000年07期
6 张宜红,徐宏炳,王能斌;实视图选取策略及其实现技术[J];软件学报;1998年12期
7 张海涛;程荫杭;;基于A*算法的全局路径搜索[J];微计算机信息;2007年17期
【共引文献】
中国期刊全文数据库 前10条
1 华文立;胡学刚;;平衡决策树分类精度与规则简易性研究[J];安徽电子信息职业技术学院学报;2006年04期
2 梁慧锋;;泡菜中亚硝酸根含量测定[J];安徽农业科学;2010年03期
3 熊严军;;水和废水中化学需氧量的测定研究[J];现代农业科技;2010年09期
4 李优;;Web搜索结果组织与展示的一种机制[J];信息安全与技术;2011年06期
5 侯继人;燃烧碘量法测定硫滴定终点判断新方法[J];鞍山科技大学学报;2005年02期
6 张晓娟;黎永秀;王胜碧;;分析化学教学改革初探[J];安顺学院学报;2011年02期
7 索鎏敏;华宁;韩英;康雪雅;;氧化沉淀法制备纳米级Mn_3O_4粉体及影响因素[J];微纳电子技术;2009年01期
8 陈寒江,吴相林;基于XML的数据库系统研究[J];兵工自动化;2003年02期
9 付燕燕,蒋代梅,周小兵;支持增量式数据仓库建设的多维数据模型[J];北京工业大学学报;2005年04期
10 庞倩超;王晏民;;基于粗糙集的数据挖掘[J];北京建筑工程学院学报;2005年04期
中国重要会议论文全文数据库 前10条
1 刘立龙;刘斌;文鸿雁;;移动基准站GPS快速求解整周模糊度的研究[A];《测绘通报》测绘科学前沿技术论坛摘要集[C];2008年
2 肖云;夏哲仁;王兴涛;孙中苗;;一种改进的卫星重力测量数据处理方法-基线法[A];《测绘通报》测绘科学前沿技术论坛摘要集[C];2008年
3 吴晓燕;车登科;戴芳;;影像与矢量结合的道路自动提取及变化检测[A];中国测绘学会2010年学术年会论文集[C];2010年
4 徐永书;张黎;夏定辉;;重庆市GPS综合服务系统的网络建设[A];重庆市测绘学会第三届优秀论文评选获奖论文暨2005-2006年度学术交流会论文选编[C];2008年
5 万奇灵;;区域土地利用总体规划中土地利用结构的优化设计[A];重庆市测绘学会第三届优秀论文评选获奖论文暨2005-2006年度学术交流会论文选编[C];2008年
6 秦昆;孔令桥;许凯;;智能空间信息处理课程体系研究[A];2009`中国地理信息产业论坛暨第二届教育论坛就业洽谈会论文集[C];2009年
7 鲁俐;;高校档案管理工作中的一种决策树分类算法研究[A];2006北京地区高校研究生学术交流会——通信与信息技术会议论文集(上)[C];2006年
8 王伟;;GIS在数据仓库中的实现模型研究[A];中国电子学会第十五届信息论学术年会暨第一届全国网络编码学术年会论文集(下册)[C];2008年
9 程凤侠;王亚平;方应森;马建标;应超燕;;毛皮铬复鞣液循环使用过程中铬配合物组成的变化[A];2010年全国皮革化学品会议论文集[C];2010年
10 赵丽莹;杨波;张荣丽;王小唯;;OA资源的质量控制[A];中国高校学术出版文集2008年第1卷——中国高等学校自然科学学报研究会第12次年会论文集[C];2008年
中国博士学位论文全文数据库 前10条
1 李桃迎;交通领域中的聚类分析方法研究[D];大连海事大学;2010年
2 程军娜;基于形态学多尺度图像分析的海藻细胞图像分割及特征提取[D];中国海洋大学;2010年
3 孟涛;农村环境管理权均衡配置研究[D];中国海洋大学;2010年
4 姜登钊;中药百部归经的研究及其在海洋中药研发中的应用[D];中国海洋大学;2010年
5 邢坤;层状氢氧化镁铝的改性与成型及其对磷/氮阴离子的吸附脱除性能[D];中国海洋大学;2010年
6 曲建华;基于群体智能的聚类分析[D];山东师范大学;2010年
7 张龙冲;青藏高原东部地区马先蒿属植物繁殖特征和种子萌发研究[D];兰州大学;2010年
8 胡平平;多屏同步三维显示技术的研究和实现[D];中国电力科学研究院;2010年
9 史海莹;双排桩支护结构性状研究[D];浙江大学;2010年
10 邓睿;多源遥感数据和GIS支持下的台风影响研究[D];浙江大学;2010年
中国硕士学位论文全文数据库 前10条
1 宋天斌;油浸式变压器绝缘在线监测系统研究[D];华中农业大学;2010年
2 吕媛媛;基于本体的物流信息集成系统的研究[D];山东科技大学;2010年
3 岳海亮;信息论在粗糙集连续属性离散化中的应用[D];辽宁师范大学;2010年
4 程晓;数据仓库中基于位图索引查询优化的研究[D];郑州大学;2010年
5 张书春;数据挖掘技术在SMS系统中的应用研究[D];郑州大学;2010年
6 梁大圣;空间数据仓库的设计与构建[D];山东农业大学;2010年
7 刘洁;基于关联挖掘的深层网络接口模式匹配方法的研究[D];哈尔滨工程大学;2010年
8 周东海;基于记账凭证的高校教育成本数据挖掘研究[D];哈尔滨工程大学;2010年
9 李丽;基于数据挖掘的用户缴费信用风险评估研究[D];哈尔滨工程大学;2010年
10 白喜朋;基于作业的钢铁企业成本分析[D];大连理工大学;2010年
【同被引文献】
中国期刊全文数据库 前10条
1 王红雨;一种实用智能答疑系统在现代远程教育中的应用[J];电脑开发与应用;2005年09期
2 戴华良;王坚;;数据仓库在企业能效评估系统中的应用[J];电脑知识与技术;2008年25期
3 詹素青;基于WEB方式的自动答疑系统的设计[J];佛山科学技术学院学报(自然科学版);2004年03期
4 贺礼智,曹丽君,尹洪武;构建Web自动答疑系统的关键技术分析[J];华北科技学院学报;2003年01期
5 万鲁河;刘万宇;崔金香;;基于模拟退火算法的空间度量物化选择[J];哈尔滨工业大学学报;2008年07期
6 张柏礼,孙志挥,孙翔;物化视图选择的预处理算法[J];计算机研究与发展;2004年10期
7 刘涛,吴功宜,陈正;一种高效的用于文本聚类的无监督特征选择算法[J];计算机研究与发展;2005年03期
8 李振星,徐泽平,唐卫清,唐荣锡;全二分最大匹配快速分词算法[J];计算机工程与应用;2002年11期
9 黄解军,潘和平,万幼川;数据挖掘技术的应用研究[J];计算机工程与应用;2003年02期
10 徐章艳,刘美玲,张师超,卢景丽,区玉明;Apriori算法的三种优化方法[J];计算机工程与应用;2004年36期
中国博士学位论文全文数据库 前3条
1 毛国君;数据挖掘技术与关联规则挖掘算法研究[D];北京工业大学;2003年
2 陈晓云;文本挖掘若干关键技术研究[D];复旦大学;2005年
3 姜韶华;科研项目管理中的文本挖掘方法研究及应用[D];大连理工大学;2006年
中国硕士学位论文全文数据库 前4条
1 程传鹏;基于分类的智能信息检索研究与实现[D];云南师范大学;2005年
2 王云峰;数据仓库与OLAP技术研究及应用[D];中南大学;2005年
3 高志新;OLAP中数据立方体的研究[D];哈尔滨理工大学;2007年
4 赵秀丽;数据仓库中物化视图选择问题的研究[D];河北工业大学;2007年
【二级参考文献】
中国期刊全文数据库 前10条
1 张连蓬,刘国林,江涛,李云岭,季民;基于先验知识的GIS路径寻优算法[J];测绘科学;2003年03期
2 张连蓬,刘国林,江涛,李云岭,季民;GIS路径寻优的方向优先搜索法[J];测绘通报;2003年12期
3 夏松,韩用顺;GIS中最短路径算法的改进实现[J];测绘通报;2004年09期
4 司连法,王文静;快速Dijkstra最短路径优化算法的实现[J];测绘通报;2005年08期
5 王建宇,许震洪,周献中;基于数字地图的多属性最优路径问题的算法研究[J];测绘信息与工程;2003年04期
6 赵伟华,章复嘉,梁红兵;车辆导航系统最优路径规划的研究与实现[J];杭州电子工业学院学报;2003年01期
7 魏海平,郭建忠,刘兴科;顾及交通时态属性的最优路径算法与实现[J];测绘学院学报;2004年01期
8 李建元;师军;;基于层次空间推理模型的交通网络最优路径算法[J];计算机工程;2006年20期
9 朱静;Dijkstra算法在GIS中的优化实现[J];计算机与现代化;2005年09期
10 吴一民,徐建闽,胡郁葱;一种基于层次图模型的最优路径算法[J];计算机工程与设计;2005年02期
【相似文献】
中国期刊全文数据库 前10条
1 巫莉莉;张波;李涛;;高校科研管理系统智能分析模块的分析与实现[J];计算机工程与设计;2010年11期
2 潘小燕;;数据仓库中物化视图选择算法的分析和比较[J];科技风;2010年19期
3 王宜贵;;基于遗传算法的物化视图优化方法[J];计算机与现代化;2011年08期
4 张柏礼;孙志挥;周晓云;张净;;DMVR:一种基于Cache的动态物化视图置换算法[J];应用科学学报;2006年02期
5 罗妤;余力;;聚类数据挖掘在商场顾客分析中的应用[J];自动化技术与应用;2007年09期
6 张柏礼;孙志挥;周晓云;杨宜东;朱玉全;;静态物化视图的动态Cache优化算法[J];软件学报;2006年05期
7 姜合;杨春花;耿玉水;;超市数据仓库中物化视图的选择与调整策略[J];计算机应用与软件;2007年03期
8 顾军华;赵秀丽;谭庆;;蚁群算法在物化视图选择问题中的应用[J];计算机应用;2007年11期
9 林颖,沈洁,谢翠华,杨耘;受限多维物化视图选择算法[J];计算机工程;2005年17期
10 贾英霞;;浅谈数据仓库与数据挖掘技术[J];科技信息(学术研究);2007年20期
中国重要会议论文全文数据库 前10条
1 潘玉奇;石冰;周劲;袁宁;;基于多维数据模型的聚类分析的研究[A];山东省计算机学会2005年信息技术与信息化研讨会论文集(一)[C];2005年
2 金妮;;一种基于数据仓库和OLAP技术的聚类挖掘系统[A];中国仪器仪表学会第九届青年学术会议论文集[C];2007年
3 严哲南;楼荣生;;窗口算法问题的解决方案[A];第十六届全国数据库学术会议论文集[C];1999年
4 杨崇联;谢旭升;;基于数据仓库的政府决策支持服务系统研究与实现[A];第二十三届中国数据库学术会议论文集(技术报告篇)[C];2006年
5 刘刚;付忠广;申鹏飞;郑玲;靳涛;;基于发电厂机组数据仓库的数据挖掘系统的研究[A];2004电站自动化信息化学术技术交流会议论文集[C];2004年
6 姚卿达;屈定春;;联邦数据库互操作方法在数据仓库中的应用[A];数据库研究进展97——第十四届全国数据库学术会议论文集(下)[C];1997年
7 唐蕾;张剡;柏文阳;徐洁磐;;数据仓库工具集NGDW-1的设计与实现[A];第十九届全国数据库学术会议论文集(研究报告篇)[C];2002年
8 廖燕玲;卢语丹;阮艳萍;高丽金;;高校教学决策支持系统的数据仓库研究[A];Proceedings of 2010 National Vocational Education of Communications and Information Technology Conference (2010 NVCIC)[C];2010年
9 宋擒豹;沈钧毅;;数据仓库体系结构研究[A];第十六届全国数据库学术会议论文集[C];1999年
10 刘伟宏;李晋晋;何瑷;徐洁磐;;数据仓库及其在OMNIX中的实现[A];第十七届全国数据库学术会议论文集(技术报告篇)[C];2000年
中国重要报纸全文数据库 前10条
1 段云峰 杨凤年 宋俊德;数据仓库必不可少[N];计算机世界;2002年
2 ;“快钱”的速度[N];网络世界;2005年
3 ;IBM DB2商业智能软件[N];中国计算机报;2007年
4 刘庆;颗粒归“仓”,刀枪入“库”[N];网络世界;2006年
5 本报记者 赵晓涛;中国人保试点数据仓库[N];网络世界;2004年
6 本报记者 潘永花;实时企业的决策引擎[N];网络世界;2005年
7 邹大斌;关注商业智能的性能[N];计算机世界;2007年
8 ;数据仓库向外部用户开放[N];网络世界;2007年
9 本报记者 谌力;心甘情愿的“不归路”[N];网络世界;2005年
10 ;企业范围内部署BI效果更佳[N];网络世界;2010年
中国博士学位论文全文数据库 前10条
1 赵宁;理中丸和四君子汤与脾虚证方证相关性的实验研究[D];中国中医科学院;2006年
2 曹锋;数据流聚类分析算法[D];复旦大学;2006年
3 吕崇山;代谢综合征中医辨证分型及其与临床检测指标的相关性研究[D];福建中医学院;2008年
4 袁军宝;我国农业现代化进程中的农户兼业经营问题研究[D];兰州大学;2009年
5 邵伟钰;地方政府债务风险预警体系研究[D];苏州大学;2008年
6 吴飞珍;基因芯片数据的聚类功能评价算法和判别分析算法研究[D];上海大学;2009年
7 孟京辉;经营单位级森林经营数据仓库研建及应用研究[D];中国林业科学研究院;2011年
8 朱传华;三峡库区地质灾害数据仓库与数据挖掘应用研究[D];中国地质大学;2010年
9 陈燕;数据仓库的设计与实现[D];大连理工大学;2000年
10 克里木;自适应数据仓库系统的研究与实现[D];大连理工大学;2003年
中国硕士学位论文全文数据库 前10条
1 吕晓;基于聚类的动态物化视图选择研究[D];江苏大学;2009年
2 曹丹阳;数据挖掘在教务系统中的应用研究[D];北方工业大学;2006年
3 王洪艳;基于聚类的数据挖掘技术在CRM中的研究与应用[D];武汉大学;2005年
4 李文广;基于数据挖掘技术的经营分析系统[D];山东大学;2005年
5 陈思维;基于数据仓库的区域环境质量预测分析系统[D];电子科技大学;2010年
6 张艳;维度建模在电信数据仓库中的应用[D];西安电子科技大学;2010年
7 蒋昙飞;面向社区服务的数据仓库关键技术研究与实现[D];西安电子科技大学;2009年
8 彭辛庚;电信企业数据仓库经营分析系统的设计与实现[D];湖南大学;2009年
9 赵在宽;基于数据仓库的气象干旱指标挖掘研究与实现[D];解放军信息工程大学;2009年
10 李慧;基于数据仓库的图书馆决策支持系统[D];天津大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026