收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

数据仓库之ETL并行调度研发

张智敏  
【摘要】:一直以来,信息都是人们生活中很重要的东西,特别对于现代企业来说,信息的准确性和及时性就有可能决定它在商业中的成败。一般来说,按获取方式可分为两种:一种是网络新闻媒体等直观的信息,而另一种则是由相关的数据分析推测出来的信息。由于前者比较直接且公众化,故往往竞争优劣的重点就落在第二种方式上。为了做好第二种获取信息方式,就离不开数据仓库的建设。数据仓库就是一个信息提供平台,它从企业内部业务处理系统,或企业外部环境获取源数据,以星型模型和雪花模型进行数据组织、整理归纳和重组、存储,以便供BI(经营分析系统)、数据集市,或者数据挖掘使用。 数据仓库建设其实就是一个工程,除了需要有优秀的数据库软件和相应的数据仓库模型外,更重要是要有精确的数据源和为按照模型分析统计的作业,并保证作业先后顺序执行的机制,决定这些的关键就在于ETL和调度选择。ETL (Extract-Transform-Load),用于描述把数据由来源端通过抽取(extract)、转置(transform)、加载(load)到目的端的过程;目前,市场上有很多成熟的ETL产品,从来源厂商来看,主要分为两种:一是数据库厂商自带的ETL工具,例如Oracle warehouse builder、 Oracle Data Integrator;另一种是第三方工具提供商,例如:Ascential公司的Datastage、Informatica公司的Powercenter、NCR Teradata公司的ETL Automation Kettle等。这些产品都有各自优缺点,要么工具各个方面都比较优秀,但价格不菲;要么就是不便维护,功能偏弱,达不到ETL要求,特别是对于作业调度方面,难以实现高效工作流配置。 因此,本文以作者多年的电信和银行的ETL经验,用市场上最普遍的ORACLE为数据库平台,参考ORACLE官网文档,借用ORACLE自身DBMS_SCHEDULER调度和DBLink批量抽取数据等优秀功能,用最基本的PL/SQL语言来开发实现ETL与调度功能。:本次研发的结果代码在ORACLE10G版本可直接部署运行,是一款运维简单、性能高效、可扩展且无需额外购买第三方和单独服务器的小型ETL工具。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 陶再平,陈奇,俞瑞钊;数据仓库在企业中应用的研究[J];计算机工程;2000年07期
2 赵玉源,梁阿磊,白英彩;一种数据仓库联机维护算法[J];计算机工程;2000年08期
3 颜端武,张玉峰;数据仓库的成本效益分析与风险管理研究[J];情报科学;2000年09期
4 陈建平;数据仓库的管理与使用[J];长春邮电学院学报;2000年03期
5 马洪江;浅论数据仓库在企业管理决策支持系统中的应用[J];成都大学学报(自然科学版);2000年03期
6 邓文华,梅志红;基于数据仓库的铁路物资管理决策支持系统的研究[J];华东交通大学学报;2000年02期
7 王德军,邹永显;抓住核心 e化银行[J];上海微型计算机;2000年48期
8 唐宏,聂能,熊思民,赵明伟;数据仓库实现技术[J];数字通信;2000年08期
9 赵军,王国胤,吴中福,李华;数据仓库及其实现[J];数字通信;2000年08期
10 秦勉,杨整;数据仓库与银行利润[J];中国信用卡;2000年04期
11 黎江;银行的数据模型与数据仓库[J];中国金融电脑;2000年10期
12 包奇峰;构建数据仓库的主要技术问题[J];中国会计电算化;2000年07期
13 张梅峰;数据仓库在商业系统中应用的探讨[J];郑州轻工业学院学报;2000年03期
14 邹振东;数据仓库支撑电子商务的秘密[J];中国科技月报;2000年11期
15 杨顺生;数据仓库锁紧商业银行(下)[J];中国计算机用户;2000年05期
16 张澜 ,康增培;数据仓库 企业的锦囊[J];中国计算机用户;2000年49期
17 禾川;;数据仓库起热潮之技术篇[J];每周电脑报;2000年48期
18 马刚,王延章;数据仓库及其设计规范化[J];大连理工大学学报;2001年05期
19 连立贵,金凤,蔡家楣;数据仓库中的数据提取[J];计算机工程;2001年09期
20 沈剑,石向星,贺贵明;数据仓库当前的行业应用状况分析[J];计算机工程;2001年10期
中国重要会议论文全文数据库 前10条
1 李洁;李庆忠;王海洋;;一种有效的在线修改数据仓库算法[A];第十六届全国数据库学术会议论文集[C];1999年
2 冯建华;蒋旭东;刘建民;周立柱;;面向市场分析与预测的数据仓库平台[A];第十六届全国数据库学术会议论文集[C];1999年
3 王晓玲;谢鸿强;刘安;董逸生;;数据仓库建模工具的研制[A];第十七届全国数据库学术会议论文集(研究报告篇)[C];2000年
4 张德辉;李建中;;多维压缩数据仓库上的并行聚集算法[A];第十七届全国数据库学术会议论文集(研究报告篇)[C];2000年
5 潘海为;李建中;;数据仓库的并行加载算法[A];第十七届全国数据库学术会议论文集(研究报告篇)[C];2000年
6 宋荷庆;胡华;;在证券公司业务中建造数据仓库[A];第十八届全国数据库学术会议论文集(技术报告篇)[C];2001年
7 隋琪;王海洋;;一种基于数据仓库的服务评估方法[A];第二十二届中国数据库学术会议论文集(技术报告篇)[C];2005年
8 宋国杰;杨冬青;林子雨;唐世渭;王腾蛟;谢昆青;;实时主动数据仓库的概念、问题及应用[A];第二十四届中国数据库学术会议论文集(研究报告篇)[C];2007年
9 杜鹢;宋自林;;虚拟数据仓库的研究与应用[A];第十五届全国数据库学术会议论文集[C];1998年
10 程永生;乐嘉锦;;数据仓库:数据的提取与转化[A];数据库研究进展97——第十四届全国数据库学术会议论文集(下)[C];1997年
中国博士学位论文全文数据库 前10条
1 宋旭东;企业集团数据仓库系统关键技术研究[D];大连理工大学;2010年
2 陈燕;数据仓库的设计与实现[D];大连理工大学;2000年
3 冯玉;数据仓库环境中近似查询处理技术研究[D];中国科学院研究生院(计算技术研究所);2002年
4 孙剑;海洋环境数据仓库与数据挖掘应用研究[D];中国海洋大学;2011年
5 栗然;电力负荷分析与预测的分布式数据仓库和数据挖掘研究[D];华北电力大学(河北);2009年
6 李学锋;矿山企业数据仓库的应用研究[D];昆明理工大学;2005年
7 马军杰;基于数据仓库与联机处理的区域经济发展管理决策支持系统研究[D];华东师范大学;2007年
8 陈金玉;数据仓库实体化视图联机—致性维护研究[D];重庆大学;2002年
9 赵贵菊;勘探开发数据仓库的模型研究和应用[D];中国地质大学(北京);2010年
10 朱传华;三峡库区地质灾害数据仓库与数据挖掘应用研究[D];中国地质大学;2010年
中国硕士学位论文全文数据库 前10条
1 孙水华;基于数据仓库的库存分析系统研究与开发[D];中南大学;2008年
2 张腾飞;基于数据仓库的信用信息系统的分析与设计[D];武汉理工大学;2009年
3 李晔锋;数据仓库的存储研究[D];东华大学;2009年
4 朱焱;数据仓库在航空发动机试验中的应用[D];电子科技大学;2008年
5 宋蓉芳;基于分布式数据仓库的网格化负荷预测研究[D];华北电力大学(河北);2008年
6 赵闯;构建数字化校园数据仓库的方案研究[D];东北师范大学;2009年
7 陆琦;点击流数据仓库在智能导学系统中的应用研究[D];东北师范大学;2009年
8 高轶;保险业数据仓库系统的设计及实现[D];北京邮电大学;2009年
9 陆体山;数据仓库在民航客运营销领域中的应用[D];上海交通大学;2008年
10 潘晓辉;人寿保险数据仓库的设计与实现[D];哈尔滨工程大学;2008年
中国重要报纸全文数据库 前10条
1 首之;银行业数据仓库技术应用亟待起步[N];金融时报;2005年
2 ;数据仓库解决方案[N];中国计算机报;2002年
3 中国人民大学数据仓库与商务智能工程研究中心 $$  中国人民大学数据与知识工程研究所王珊、谢佳明、陈红、刘中蔚、邵琦洪、张宁;创建数据仓库:要面向三条路线[N];中国计算机报;2002年
4 IBM 软件 Barry Devlin 博士;信息集成——数据仓库架构的扩展[N];中国计算机报;2003年
5 李军;数据仓库新增长点在哪里?[N];中国计算机报;2004年
6 段云峰 杨凤年 宋俊德;数据仓库必不可少[N];计算机世界;2002年
7 文武;数据仓库助大鹏转型[N];计算机世界;2003年
8 ;数据仓库实施的“新浪潮”[N];计算机世界;2005年
9 本报记者 侯闯;竞争压力推动数据仓库应用[N];计算机世界;2005年
10 本报记者 程亮;数据仓库人才紧缺[N];人才市场报;2005年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978