收藏本站
《华南理工大学》 2012年
收藏 | 手机打开
二维码
手机客户端打开本文

基于DataStage的自动转换及测试工具的设计与实现

董胜利  
【摘要】:随着数据仓库的广泛使用,如何向数据仓库获取或者加载来自于不同硬件平台,不同操作系统,不同数据模型的多种业务数据,已成为数据仓库建立的关键问题。目前,系统的数据来源复杂而且分析应用尚未成型,IBM的数据抽取、转换和装载工具DataStage得到了广泛应用。 DataStage包括多种类型的Job,Job定义了一系列如何执行数据抽取、转换和装载的步骤,常用的Job分为Server Job和Parallel Job。其中,Parallel Job支持并行处理体系结构,与Server Job相比,其具有更高的性能优势。为了获得更高的性能并缩短开发时间,采用Server Job的用户倾向于进行版本的迁移及升级。 目前,市场上并无实现Job自动转换与测试的相关工具,设计和实现的技术、理论都是由IBM提供和支持。本系统使用Java/J2SE进行开发,包括自动转换和自动测试两个大功能模块。 自动转换模块包括导出模块、树结构创建模块、转换模块、清洗模块和导入模块,用于实现Server Job向Parallel Job的自动转换。导出模块封装DataStage底层命令,使Job以XML形式导出。树结构创建模块使用DOM解析XML并构建树结构。转换模块通过替换相应的Parallel Job元素来重构XML结构树,从而获得了对应的Parallel Job。清洗模块重命名Job元素,防止破坏原始Job元素。导入模块封装DataStage底层命令,将XML形式的Job导入到DataStage服务器。 自动测试模块包括导出模块、树结构创建模块、测试数据生成模块,校验及显示模块,用于验证和校验自动转换生成的Job。树结构创建模块使用DOM解析XML形式的Job来获取数据源模式。测试数据生成模块使用获取的模式,创建用于生成测试数据的Job并通过运行Job来获得测试数据。校验及显示模块将生成的测试数据作为数据源并比较、显示两个不同类型Job的运行结果。 与手工转换相比,自动转换在开发效率上提高了70%,在成本上减少了50%,带来的直接和间接利润高达60%。
【学位授予单位】:华南理工大学
【学位级别】:硕士
【学位授予年份】:2012
【分类号】:TP311.52

【参考文献】
中国期刊全文数据库 前4条
1 尤欣;;ETL技术在商业智能中的应用[J];电脑应用技术;2008年03期
2 周丽娟,邓颖,马春英,柳池;数据仓库技术和OLAP研究[J];佳木斯大学学报(自然科学版);2001年03期
3 朱小栋;樊重俊;杨坚争;;面向机场场区管理的数据挖掘系统[J];计算机工程;2012年03期
4 刘洋;毕红军;路静;;ETL系统的研究与实现[J];内蒙古科技与经济;2008年20期
【共引文献】
中国期刊全文数据库 前10条
1 杨学兵,蔡庆生;基于数据立方体的维内关联规则挖掘算法[J];北京科技大学学报;2003年01期
2 王利,郭巧,李文正,吴才聪;利用XML实现SNMP配置管理的多粒度访问[J];北京理工大学学报;2004年09期
3 刘宏哲,彭涛,鲍泓;基于XML/SOAP构建文物数字化网络环境[J];北京联合大学学报(自然科学版);2004年03期
4 李向;李小文;刘素红;李敏;;基于元数据的小城镇信息化公共信息资源库建设关键技术研究[J];北京师范大学学报(自然科学版);2006年04期
5 黄华林;;RSS在线阅读的一种简单实现[J];保山师专学报;2006年05期
6 陈建平;数据仓库的管理与使用[J];长春邮电学院学报;2000年03期
7 宋钦宇;;数据库TPC-H测试系统的设计与分析[J];长春大学学报;2008年02期
8 王鸿伟;;基于JerichoHTMLParser的html信息抽取[J];赤峰学院学报(自然科学版);2010年10期
9 邱俊;如何有效利用DOM处理XML文档[J];重庆工学院学报;2002年02期
10 高宁,杜建强,刘衍珩;一种基于XML的B/S结构的设计与实现[J];长春理工大学学报;2005年01期
【二级参考文献】
中国期刊全文数据库 前10条
1 崔柔刚,温阳东;数据挖掘技术在医院信息管理中的应用[J];安徽水利水电职业技术学院学报;2004年01期
2 邱俊;如何有效利用DOM处理XML文档[J];重庆工学院学报;2002年02期
3 赵会群,徐凌宇,王国仁,高远;基于随机进程代数的软件体系结构建模与性能评价[J];东北大学学报;2002年01期
4 朱前飞,高芒;XML解析技术研究[J];电脑开发与应用;2004年11期
5 崔福洪;异种数据库数据转换的实现[J];光电对抗与无源干扰;2002年01期
6 胡逢彬;沈炜;;数据ETL过程中的数据质量控制[J];信息技术;2006年04期
7 张弛,邱金;银行领域的商业智能设计与应用[J];华南金融电脑;2004年12期
8 侯文峰;中国“数字海洋”发展的基本构想[J];海洋通报;1999年06期
9 叶仰明,黄加棋;中国数字海洋的总体技术系统框架[J];海洋科学;2001年05期
10 左亚尧,舒忠梅,潘久辉;一种高效的视图维护算法[J];计算机研究与发展;2003年04期
【相似文献】
中国期刊全文数据库 前10条
1 王玉,谢玉明,邢渊,阮雪榆;近净形成形中基于知识的产品多视CAD模型自动转换研究[J];机械科学与技术;2001年06期
2 蔡乐才,曾铭;扎染CAD设计效果图到工艺图的自动转换[J];四川轻化工学院学报;2002年04期
3 沈洪义;;改A3机芯彩电的P/N制式为自动转换——收看卫星电视更方便[J];电子制作;2003年07期
4 刘丽斌;张寿华;濮德敏;任瑞娟;米佳;;《中国分类主题词表》的SKOS描述自动转换研究[J];中国图书馆学报;2009年06期
5 王开铸,彭木昌,王宇颖,邢丽颖;FORTRAN到Ada自动转换系统的设计与实现[J];哈尔滨工业大学学报;1988年06期
6 穆泉伶;;图纸管理系统中CAD图形文件自动转换设计和实现[J];长春大学学报;2010年10期
7 古辉;;在DBASE程序中实现输入方法自动转换[J];太原师范学院学报(社会科学版);1991年03期
8 王振兴,刘晟,胡红霞;基于虚拟令牌的自适应实时以太网络构建[J];计算机工程;2003年19期
9 ;方正畅听2008[J];数字化用户(网吧世界);2008年09期
10 伍俊杰;孙友林;陈君;;一种超混沌自动转换系统的设计与分析[J];电子设计工程;2011年13期
中国重要会议论文全文数据库 前5条
1 文欣;;Z规格说明中笛卡尔积算子自动求精的研究与实现[A];中国通信学会第五届学术年会论文集[C];2008年
2 王跃龙;韩希;;短语结构树到依存树的转换[A];第三届学生计算语言学研讨会论文集[C];2006年
3 段永强;马亚平;王世文;;基于智能模板的文图互生自动转换的研究[A];全国第19届计算机技术与应用(CACIS)学术会议论文集(下册)[C];2008年
4 王俏文;陶文伟;;调度MIS定值到DTS保护数据的自动转换[A];广东省电机工程学会2003-2004年度优秀论文集[C];2005年
5 李海民;;利用PVSAT单收站对“12121”声询服务信箱的优化[A];2006年湖北省气象学会学术年会暨湖北省第一届防雷论坛学术论文详细文摘汇集[C];2006年
中国硕士学位论文全文数据库 前10条
1 董胜利;基于DataStage的自动转换及测试工具的设计与实现[D];华南理工大学;2012年
2 党学立;基于FPGA太阳能热水器智能控制器的设计[D];西北农林科技大学;2008年
3 于云赫;Z规格说明中关系和函数到C++STL的自动转换[D];沈阳工业大学;2007年
4 邓冠宇;由OVATION画面自动建立电厂电气仿真模型的研究[D];华北电力大学(河北);2008年
5 蔡换换;基于映射的ArtiFlow向BPEL的转换方法[D];燕山大学;2010年
6 谢家俊;化学脚本语言到UDLC语言自动转换的研究[D];兰州大学;2012年
7 朱峰;软件国际化与本地化自动化转换模型和方法[D];浙江大学;2012年
8 侯晓媛;U2TP到TTCN-3自动转换的研究与实现[D];内蒙古大学;2013年
9 王磊;基于MPI的串行程序自动并行化的应用研究[D];安徽理工大学;2013年
10 曾柯达;基于推理机的网络安全事件关联分析技术的研究与实现[D];国防科学技术大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026