收藏本站
《华南理工大学》 2011年
收藏 | 手机打开
二维码
手机客户端打开本文

实时数据仓库关键技术的研究与实现

肖裕洪  
【摘要】:随着计算机技术和信息技术的不断发展,海量数据的不断涌现,企业迫切需要对数据进行高效、准确、及时的分析。传统数据仓库一般是按天、周或者月作为数据的更新周期,可以提供对历史数据的分析与查询,能够帮助决策者制定企业运营战略,但却不能实时地反映企业商业信息的变化。然而当前在电子商务、金融经济等领域中,需要及时的将数据发送到决策者手中,为企业提供更有价值的战术型决策支持,因此实时数据仓库应运而生。 数据的实时性和查询的频繁性是实时数据仓库的两个重要特性,它成为了实时数据仓库系统设计中的难点。当前,对于实时数据仓库领域的研究主要集中在两个方面,1)如何实时的对源系统中的变更数据进行抽取、转换、清洗并加载到数据仓库中;2)如何解决好变更数据不间断持续的更新集成和大规模频繁的并发查询之间的冲突。 本课题在深入研究和分析实时数据仓库的需求和特性的基础上,改进了实时数据仓库的架构模型,并提出了一种更新查询调度框架,该框架包括了触发机制和调度机制两个部分。在触发机制中,利用了批量数据加载的高效性以及数据仓库中数据的集成性和聚合性,设计了一套高效的触发规则,并采用了基于事件-监听的方式实现。在调度机制中,对任务进行两阶段调度,第一个阶段根据上一个周期已执行任务的运行状况和不同任务的到来频率,决定对更新或查询任务队列进行调度;第二阶段根据更新任务的实时性要求,对更新任务进行优先级划分,从而决定对哪个具体任务进行调度。该调度机制有效地利用了更新和查询任务的上下文环境,进一步优化了系统资源的分配。 本课题还对数据仓库中封闭立方体算法进行了研究,并提出了一种基于封闭立方体语义优化的查询算法。该算法一方面可以有效地缩减检索范围;另一方面可以有效地利用父查询点的结果来指导子查询点的查询。 最后,本文通过实验对更新查询调度框架中的性能关键点和查询优化算法的性能进行完整的评估,并将上面研究的数据仓库技术应用到电子商务领域的数据仓库实践中,对数据仓库业务应用集成方法进行了详细的总结。
【学位授予单位】:华南理工大学
【学位级别】:硕士
【学位授予年份】:2011
【分类号】:TP311.13

手机知网App
【参考文献】
中国期刊全文数据库 前6条
1 谭汉松,刘涛;基于ODS的数据仓库研究与实现[J];信息技术;2003年03期
2 侯东风;陆昌辉;刘青宝;张维明;;数据立方体计算方法研究综述[J];计算机科学;2008年10期
3 张俊,张忠能;实时数据仓库体系架构的研究[J];计算机工程;2004年S1期
4 马瑞新;许力;;基于SOA的实时ETL的研究与实现[J];计算机工程与科学;2007年08期
5 吴杰;蒋外文;;基于集合运算的数据立方体结构[J];计算机应用研究;2007年11期
6 李盛恩,王珊;封闭数据立方体技术研究[J];软件学报;2004年08期
【共引文献】
中国期刊全文数据库 前10条
1 孙娜;;基于数据仓库技术的电力设备决策系统[J];安徽电气工程职业技术学院学报;2010年01期
2 朱文婕;数据仓库技术及应用[J];安徽电子信息职业技术学院学报;2004年Z1期
3 尹荣章,郑诚;一个基于关系数据库的联机分析处理系统的设计与实现[J];安徽大学学报(自然科学版);2001年01期
4 王永梅;胡学钢;;决策树中ID3算法的研究[J];安徽大学学报(自然科学版);2011年03期
5 秦宗贵;;OLAP技术及其在电信行业中的应用[J];安徽科技;2006年06期
6 仲红,谢荣传;基于Web的数据仓库[J];安徽师范大学学报(自然科学版);2002年02期
7 崔柔刚,温阳东;数据挖掘技术在医院信息管理中的应用[J];安徽水利水电职业技术学院学报;2004年01期
8 陈彩虹;郭旭文;;长株潭地区景观格局经营调控决策支持系统分析与设计[J];北方园艺;2009年02期
9 陈文明,刘成宇,罗维勇,苏冬平;宝钢供应链管理中的需求管理系统[J];宝钢技术;2003年04期
10 苏冬平,陈文明,刘成宇,毛春荣;用多维数据库构建需求管理数据平台[J];宝钢技术;2005年02期
中国重要会议论文全文数据库 前10条
1 宋亚男;刘春和;李新俊;齐俊臣;;导弹贮存可靠性数据仓库的研究与设计[A];中国电子学会可靠性分会第十三届学术年会论文选[C];2006年
2 赵维佺;李迪;;网络化运动控制系统中调度与控制协同设计的研究[A];第二十七届中国控制会议论文集[C];2008年
3 方仕雄;李奇;;基于模糊预测控制的实时调度系统性能优化[A];第二十七届中国控制会议论文集[C];2008年
4 杨静;;基于数据仓库决策分析的电力系统应用研究[A];安徽省电机工程学会优秀学术论文集(2002-2003)[C];2005年
5 张婧;;数据挖掘技术在进销存系统中的应用[A];2006北京地区高校研究生学术交流会——通信与信息技术会议论文集(下)[C];2006年
6 杨真;李也白;籍志兵;常一帆;;数据分析技术在商品销售中的应用研究[A];2007北京地区高校研究生学术交流会通信与信息技术会议论文集(上册)[C];2008年
7 张帆;余开朝;;数据仓库在CRM系统中的应用研究[A];全国第九届企业信息化与工业工程学术会议论文集[C];2005年
8 欧晓鸥;王志立;邵发森;;一种基于数据集市的产品设计知识处理方法[A];全国先进制造技术高层论坛暨第七届制造业自动化与信息化技术研讨会论文集[C];2008年
9 吴泽雄;;数据仓库浅谈[A];海南省通信学会学术年会论文集(2005)[C];2005年
10 秦科;;数据市场分析与数据仓库建设[A];计算机模拟与信息技术会议论文集[C];2001年
中国博士学位论文全文数据库 前10条
1 石绍顺;消化性溃疡的中医证治规律研究及临床疗效的系统评价[D];辽宁中医药大学;2011年
2 周明;基于数据挖掘的制造业采购DSS理论及方法研究[D];天津大学;2009年
3 甘亮;面向网络安全监控的流数据处理技术研究[D];国防科学技术大学;2011年
4 魏莱;反洗钱监管体系与检测方法研究[D];湖南大学;2011年
5 白天;维护数据时间一致性的实时事务调度策略研究[D];华中科技大学;2012年
6 李刚;知识发现的图模型方法[D];中国科学院软件研究所;2001年
7 曹蓟光;联机分析挖掘处理技术(OLAM)的研究[D];浙江大学;2001年
8 王靖飞;动物疾病诊断专家系统的研究与应用[D];东北农业大学;2002年
9 陈元;基于分类模型的知识发现过程研究[D];国防科学技术大学;2002年
10 黄金才;网络环境下决策资源共享与决策支持系统快速开发环境研究[D];国防科学技术大学;2001年
中国硕士学位论文全文数据库 前10条
1 庞岱军;泰安市农村信息服务平台建设研究[D];山东农业大学;2009年
2 龚健;数据挖掘技术在农业信息服务中的应用研究[D];安徽农业大学;2010年
3 刘菲;基于决策树技术的忠诚客户挖掘研究[D];辽宁工程技术大学;2009年
4 肖晴;基于数据仓库的高速公路信息管理系统的研究[D];长沙理工大学;2010年
5 张蕾;天津港煤炭货运管理系统的设计与实现[D];大连海事大学;2010年
6 高绍伟;财务智能系统构建与模型实现[D];中国海洋大学;2010年
7 周翔;决策支持技术在企业销售系统中的应用研究[D];中国海洋大学;2010年
8 纪雅楠;数据挖掘技术在高校成人教育学生成绩分析中的应用研究[D];中国海洋大学;2010年
9 陈凤萍;寿光人才求职招聘网站中资源检索算法的研究[D];中国海洋大学;2010年
10 王维家;证券公司CRM数据仓库系统的研究与设计[D];中国海洋大学;2010年
【二级参考文献】
中国期刊全文数据库 前10条
1 张旭峰;孙未未;汪卫;冯雅慧;施伯乐;;增量ETL过程自动化产生方法的研究[J];计算机研究与发展;2006年06期
2 向隆刚;龚健雅;;一种高度浓缩和语义保持的数据立方[J];计算机研究与发展;2007年05期
3 刘运涛;鲍玉斌;吴丹;冷芳玲;孙焕良;于戈;;CBFrag-Cubing:一种基于压缩位图的高维数据立方创建算法[J];计算机科学;2005年11期
4 胡孔法;陈崚;李斌;陈宏建;董逸生;;数据仓库系统中高维联机分析处理聚集数据存储技术研究[J];计算机集成制造系统;2006年07期
5 崔立新,苑森淼,赵春喜;约束性相联规则发现方法及算法[J];计算机学报;2000年02期
6 冯建华,蒋旭东,周立柱;用于数据仓储的一种改进的多维存储结构[J];软件学报;2002年08期
7 李盛恩,王珊;封闭数据立方体技术研究[J];软件学报;2004年08期
8 骆吉洲;李建中;赵锴;;大型压缩数据仓库上的Iceberg Cube算法[J];软件学报;2006年08期
9 章水鑫,徐宏炳,于立;增量式ETL工具的研究与实现[J];现代计算机(专业版);2005年03期
10 王琢;鲍玉斌;;一种快速生成最小浓缩数据立方的算法[J];小型微型计算机系统;2005年12期
【相似文献】
中国期刊全文数据库 前10条
1 李小庆;银行数据仓库系统的设计与实现[J];华南金融电脑;2004年07期
2 马慧麟,吴晓洁;关于大型企业数据仓库建设中的几个关键问题的研究[J];制造技术与机床;2005年05期
3 马慧麟;数据仓库的数据采集与建模问题研究[J];中央民族大学学报(自然科学版);2004年04期
4 杨顺生;数据仓库助企业生存有道[J];中国计算机用户;1999年46期
5 袁磊,王培凤;数据仓库技术在图书馆数字化中的应用研究[J];襄樊学院学报;2003年05期
6 张晓雁;浅议数据仓库技术在图书馆中的应用[J];情报杂志;2002年05期
7 张俊,张忠能;实时数据仓库体系架构的研究[J];计算机工程;2004年S1期
8 刘涌,侯志俭,蒋传文;数据仓库技术在配网自动化中的应用[J];华东电力;2005年01期
9 朱海峰;保险数据仓库系统的设计与实现[J];中国金融电脑;2000年05期
10 ;Sybase顺应仓储建设潮[J];每周电脑报;1997年16期
中国重要会议论文全文数据库 前10条
1 杨文川;郁文生;黄涛;;人口统计数据仓库的设计与实现[A];第二十届全国数据库学术会议论文集(技术报告篇)[C];2003年
2 严哲南;楼荣生;;窗口算法问题的解决方案[A];第十六届全国数据库学术会议论文集[C];1999年
3 杨崇联;谢旭升;;基于数据仓库的政府决策支持服务系统研究与实现[A];第二十三届中国数据库学术会议论文集(技术报告篇)[C];2006年
4 刘刚;付忠广;申鹏飞;郑玲;靳涛;;基于发电厂机组数据仓库的数据挖掘系统的研究[A];2004电站自动化信息化学术技术交流会议论文集[C];2004年
5 姚卿达;屈定春;;联邦数据库互操作方法在数据仓库中的应用[A];数据库研究进展97——第十四届全国数据库学术会议论文集(下)[C];1997年
6 唐蕾;张剡;柏文阳;徐洁磐;;数据仓库工具集NGDW-1的设计与实现[A];第十九届全国数据库学术会议论文集(研究报告篇)[C];2002年
7 廖燕玲;卢语丹;阮艳萍;高丽金;;高校教学决策支持系统的数据仓库研究[A];Proceedings of 2010 National Vocational Education of Communications and Information Technology Conference (2010 NVCIC)[C];2010年
8 宋擒豹;沈钧毅;;数据仓库体系结构研究[A];第十六届全国数据库学术会议论文集[C];1999年
9 刘伟宏;李晋晋;何瑷;徐洁磐;;数据仓库及其在OMNIX中的实现[A];第十七届全国数据库学术会议论文集(技术报告篇)[C];2000年
10 曹顺良;李荣;张忠平;汪卫;朱扬勇;李亦学;;BioDW:一个整合的生物信息学数据仓库平台[A];第二十届全国数据库学术会议论文集(技术报告篇)[C];2003年
中国重要报纸全文数据库 前10条
1 段云峰 杨凤年 宋俊德;数据仓库必不可少[N];计算机世界;2002年
2 ;“快钱”的速度[N];网络世界;2005年
3 ;IBM DB2商业智能软件[N];中国计算机报;2007年
4 刘庆;颗粒归“仓”,刀枪入“库”[N];网络世界;2006年
5 本报记者 赵晓涛;中国人保试点数据仓库[N];网络世界;2004年
6 本报记者 潘永花;实时企业的决策引擎[N];网络世界;2005年
7 邹大斌;关注商业智能的性能[N];计算机世界;2007年
8 ;数据仓库向外部用户开放[N];网络世界;2007年
9 本报记者 谌力;心甘情愿的“不归路”[N];网络世界;2005年
10 ;企业范围内部署BI效果更佳[N];网络世界;2010年
中国博士学位论文全文数据库 前10条
1 孟京辉;经营单位级森林经营数据仓库研建及应用研究[D];中国林业科学研究院;2011年
2 朱传华;三峡库区地质灾害数据仓库与数据挖掘应用研究[D];中国地质大学;2010年
3 宋杰;面向多类型数据源的数据仓库构建及ETL关键技术的研究[D];东北大学;2008年
4 陈燕;数据仓库的设计与实现[D];大连理工大学;2000年
5 克里木;自适应数据仓库系统的研究与实现[D];大连理工大学;2003年
6 陈金玉;数据仓库实体化视图联机—致性维护研究[D];重庆大学;2002年
7 李文海;基于粗集的关系型联机分析优化技术研究[D];华中科技大学;2007年
8 徐小博;客户关系管理系统的安全防护机制[D];吉林大学;2012年
9 麦永浩;数据仓库和数据挖掘方法研究及其在公安信息建设中的应用[D];华东理工大学;2000年
10 吴金华;空间数据仓库的元数据研究[D];武汉大学;2003年
中国硕士学位论文全文数据库 前10条
1 陈思维;基于数据仓库的区域环境质量预测分析系统[D];电子科技大学;2010年
2 张艳;维度建模在电信数据仓库中的应用[D];西安电子科技大学;2010年
3 蒋昙飞;面向社区服务的数据仓库关键技术研究与实现[D];西安电子科技大学;2009年
4 彭辛庚;电信企业数据仓库经营分析系统的设计与实现[D];湖南大学;2009年
5 赵在宽;基于数据仓库的气象干旱指标挖掘研究与实现[D];解放军信息工程大学;2009年
6 李慧;基于数据仓库的图书馆决策支持系统[D];天津大学;2010年
7 袁玮;新疆联通经营分析系统中数据仓库的应用[D];电子科技大学;2009年
8 文宇;点击流数据仓库在电子商务中的应用研究[D];电子科技大学;2009年
9 张静波;基于数据仓库的企业决策支持系统的研究与应用[D];电子科技大学;2009年
10 齐文;实时数据仓库中基于消息的事件传输和处理机制的研究与实现[D];东北大学;2008年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026