收藏本站
《北方工业大学》 2005年
收藏 | 手机打开
二维码
手机客户端打开本文

ETL在ISBN中心业务系统中的研究与应用

王雪  
【摘要】:本文介绍了ETL原理、国内外数据转换技术以及ETLI具发展等内容。在详细分析了数据转换理论和现有的数据转换技术后,指出了现有工具的不足之处。本文结合ISBN中心业务系统的实际需求,提出了以XML技术为基础的ETLI具解决方案,在一定程度上解决了传统ETLI具对数据库服务器造成的负载问题,均衡了各服务器的利用率。 本文根据实际项目的具体需求,采用XML为主要技术手段,建立了如下的模型:异构数据库元数据的获取模型、数据转换和清洗任务流定义模型、数据上载任务调度模型等。作者研究了数据转换过程中需要解决的技术问题,并以前述模型为基础,开发了对应ETL四个阶段的数据转换工具,通过该工具能处理JDBC所支持的数据库、EXCEL文件,以及基于多种异构数据库提取的数据之间的清洗与转换。使用者可以自己设计转换流程、定义转换规则、定时调度转换任务,该软件具有较好的通用性和灵活性。作者用此工具进行过多种数据转换的测试,效果较好。 作者在研究、开发与应用的实践中,总结出了进一步改进和完善该软件的方法,这是作者下一步要做的工作。
【学位授予单位】:北方工业大学
【学位级别】:硕士
【学位授予年份】:2005
【分类号】:TP311.52

【引证文献】
中国硕士学位论文全文数据库 前1条
1 丁左明;ETL工作流的建模及优化[D];上海师范大学;2007年
【参考文献】
中国期刊全文数据库 前4条
1 张宁,贾自艳,史忠植;数据仓库中ETL技术的研究[J];计算机工程与应用;2002年24期
2 蔡延峰,蔡启明;异构数据库间的数据转换[J];计算机与现代化;2002年01期
3 王雪,吴洁明;基于XML的ETL分析与设计[J];微机发展;2005年09期
4 王元珍,李海波;基于OLE DB的数据抽取、转换和装入工具的设计与实现[J];小型微型计算机系统;2002年04期
【共引文献】
中国期刊全文数据库 前10条
1 任义;凌玉华;廖力清;;基于IEC61970标准的异构数据源间数据转换方法的研究与实现[J];安徽电力;2006年04期
2 吕德亮;王晏民;张健钦;吴海燕;;面向宏观交通规划的移动对象模型及应用研究[J];北京建筑工程学院学报;2011年02期
3 吴浪;;关系数据库查询优化研究[J];才智;2008年10期
4 曹选平;机械电子图档管理系统研究[J];成都纺织高等专科学校学报;2004年02期
5 王常亮;闫利华;吴曦德;;基于XML的智能答疑系统研究[J];赤峰学院学报(自然科学版);2008年09期
6 周江川;彭川;;应急系统中不确定性异构数据的交换与集成[J];重庆理工大学学报(自然科学版);2010年08期
7 吕岩,卢奕南,曹大洲,杨佳颖,刘畅;基于XPath查询的XML技术在电子病历中的应用[J];长春理工大学学报;2004年01期
8 薛艳丽,李英成,任延旭,许厚永,苏小霞;全国多级多分辨率控制点图形图像数据库建设与应用[J];测绘科学;2005年06期
9 罗志清;;安宁市综合管网地理信息系统数据库设计[J];测绘科学;2007年05期
10 吴纲;;一种轻量级ETL的设计与应用[J];长江大学学报(自然科学版)理工卷;2008年04期
中国重要会议论文全文数据库 前7条
1 张勇;张小苗;;广播电视台站信息管理系统的设计与实现[A];中国新闻技术工作者联合会2011年学术年会论文集(下篇)[C];2011年
2 薛艳丽;李英成;贾萍;刘晓龙;李学友;郭童英;;控制点数据库、LU/LC样本影象数据库在土地调查中的应用研究[A];新技术在土地调查中的应用与土地科学技术发展-2005年中国土地学会学术年会论文集[C];2005年
3 杜富殿;;金土工程的数据总线——XML[A];2006年中国土地学会学术年会论文集[C];2006年
4 张晓明;林小竹;;分布式应用系统中的ETL开发方法学研究[A];第二十二届中国数据库学术会议论文集(技术报告篇)[C];2005年
5 武纬;童云海;唐世渭;;ETL在保险现金流预测分析中的应用与研究[A];第二十四届中国数据库学术会议论文集(技术报告篇)[C];2007年
6 吕琳;朱东华;刘玉琴;;面向数据仓库的数据预处理研究综述[A];2007年中国智能自动化会议论文集[C];2007年
7 杜翠凤;赵云;王展;;金山店铁矿隐患信息管理系统的研究及应用[A];2012’中国金属学会冶金安全与健康年会论文集[C];2012年
中国博士学位论文全文数据库 前10条
1 李桃迎;交通领域中的聚类分析方法研究[D];大连海事大学;2010年
2 张臻;西南季节性干旱区农业资源与环境要素数据库设计与应用[D];西南大学;2011年
3 廖军;公路交通信息资源整合及系统实现研究[D];长安大学;2009年
4 齐行祥;基于个性化虚拟人台的服装合体性评价模型研究[D];东华大学;2011年
5 石军;基于XML的智能信息处理研究[D];西安电子科技大学;2003年
6 王培俊;基于Web与VR的异地实时协同工作系统与虚拟环境的研究[D];西南交通大学;2004年
7 陈细谦;空间数据仓库关键技术的研究与实现[D];大连理工大学;2005年
8 连剑波;基于XML的地质数据集成及WebGIS发布研究[D];中国科学院研究生院(广州地球化学研究所);2006年
9 贾东浇;制造企业运作过程的信息集成关键技术研究[D];浙江大学;2006年
10 钟世禄;家具企业产品数据管理(PDM)技术的研究[D];南京林业大学;2007年
中国硕士学位论文全文数据库 前10条
1 梁大圣;空间数据仓库的设计与构建[D];山东农业大学;2010年
2 曾祥莉;ETL在经济普查信息发布系统中的应用研究[D];哈尔滨工程大学;2010年
3 葛迪;ETL技术在交通信息资源整合工程中的应用研究[D];哈尔滨工程大学;2010年
4 梁秀杰;基于PAC的EPA组态运行系统的研究与实现[D];大连理工大学;2010年
5 王文艺;安徽农垦集团农业资源信息数据库建设的研究[D];安徽农业大学;2010年
6 张加元;网络版矿井通风仿真系统数据库关键技术研究[D];辽宁工程技术大学;2009年
7 张蕾;天津港煤炭货运管理系统的设计与实现[D];大连海事大学;2010年
8 王静;基于关联规则的利润加权数据挖掘算法研究及在商业智能中的应用[D];中国海洋大学;2010年
9 崔山;网络会议平台数据分析系统的设计与实现[D];苏州大学;2010年
10 裘晓燕;信息系统集成中间件eEnabling的设计与实现[D];苏州大学;2010年
【同被引文献】
中国期刊全文数据库 前1条
1 周宏广,周继承,彭银桥,龙思锐;数据ETL工具通用框架设计[J];计算机应用;2003年12期
【二级引证文献】
中国硕士学位论文全文数据库 前10条
1 商翠珍;数据资源汇聚的可视化建模技术研究与应用[D];山东科技大学;2010年
2 阮文娟;商务智能ETL过程优化及质量控制在航空预警中的应用研究[D];武汉理工大学;2010年
3 侯恩振;数据仓库ETL分配与调度模型研究[D];大连交通大学;2010年
4 陈旭;面向警务督察的活动模型及工作流平台的研究与设计[D];天津大学;2010年
5 王海婴;达梦数据交换平台(DMETL)执行过程改进[D];华中科技大学;2011年
6 刘红宇;数据驱动的证券公司数据中心系统研究与实现[D];上海交通大学;2012年
7 杨志放;移动网络挖掘分析系统中ETL的研究与实现[D];北京邮电大学;2012年
8 胡丹;商业银行会计风险检测系统设计与实现[D];北京邮电大学;2012年
9 李娜;生产过程数据仓库ETL模块的研究与开发[D];华北电力大学(北京);2010年
10 黄觉明;可扩展的ETL技术研究与工具设计[D];华南理工大学;2010年
【二级参考文献】
中国期刊全文数据库 前4条
1 张宁,贾自艳,史忠植;数据仓库中ETL技术的研究[J];计算机工程与应用;2002年24期
2 张雪洁,王志坚,许峰,李静燕;基于XML的领域异构数据库间的数据转换[J];计算机与现代化;2004年05期
3 常新功,肖玉巍,金红;数据仓库的ETL策略[J];山西财经大学学报;2002年S1期
4 胡萍,李文华;基于XML的数据转换中间件的研究与实现[J];微机发展;2003年S1期
【相似文献】
中国期刊全文数据库 前10条
1 周莉;王珏;;基于XML的异构数据库互连[J];科技广场;2007年11期
2 王铮钧;;EAI中本体异构数据集成中间件的设计与实现[J];计算机应用与软件;2010年08期
3 杜苏民;;基于Web的异构数据库的局部数据集成[J];漯河职业技术学院学报;2011年02期
4 周江川;彭川;;应急系统中不确定性异构数据的交换与集成[J];重庆理工大学学报(自然科学版);2010年08期
5 段永威,秦峰;异构数据源数据转换工具的设计与实现[J];现代图书情报技术;2004年04期
6 周海鹏;张璟;李军怀;;信息系统中的数据集成方法研究与应用[J];微电子学与计算机;2008年05期
7 任奇,王朝君,谢永强;一种跨平台数据库转换工具的设计与实现[J];信息安全与通信保密;2005年07期
8 吴渝;王成良;;基于EAI的企业数据集成技术的研究[J];微计算机信息;2006年15期
9 孙友仓;;一种基于Web Services的分布异构数据库集成机制[J];山西大学学报(自然科学版);2007年03期
10 辛爱莉;张林;李守坤;;基于xml对象树模型的异构数据集成技术研究[J];中国科技信息;2009年13期
中国重要会议论文全文数据库 前10条
1 杨雪梅;李灿东;周任材;林端宜;;中医症状术语体系库的建立[A];中国中西医结合学会诊断专业委员会2009’年会论文集[C];2009年
2 吴永成;崔湘龙;雷铭;;舰船工程虚拟仿真技术研究[A];中国造船工程学会2007年优秀学术论文集[C];2008年
3 彭兰霞;凃颖;;MapGIS与ArcGIS数据转换实现方法探讨[A];中国测绘学会九届三次理事会暨2007年“信息化测绘论坛”学术年会论文集[C];2007年
4 邓光林;陶彣君;;浅谈CASS文件到MAPGIS文件的转换[A];2006年测绘新技术应用交流会论文集[C];2006年
5 羌鑫林;钟金;张光伟;;CAD数据到Geodatabase数据库的数据转换实践[A];江苏省测绘学会2007年学术年会论文集[C];2008年
6 羌鑫林;钟金;张光伟;;CAD数据到Geodatabase数据库的数据转换实践[A];江苏省测绘学会2007'学术年会论文集[C];2008年
7 曾朝平;;GIS在土地利用调查的应用[A];2009`中国地理信息产业论坛暨第二届教育论坛就业洽谈会论文集[C];2009年
8 张英哲;马英连;;GIS数据在专题地图制作的应用研究[A];2007'全国测绘科技信息交流会暨信息网成立30周年庆典论文集[C];2007年
9 张悦丽;王海银;张立涛;;Microstation DGN到MAPGIS数据转换的研究与应用[A];山东省“数字国土”学术交流会论文集[C];2007年
10 耿俊;;矢栅变换法制作DRG[A];江苏省测绘学会2007'学术年会论文集[C];2008年
中国重要报纸全文数据库 前10条
1 姜学军(山东省医药卫生科技信息研究所) 程永(浪潮商用系统公司;山东省地税系统的数据集成[N];电脑商报;2005年
2 于翔 王翔;收复数据孤岛[N];网络世界;2007年
3 于翔;谁碾碎了数据?[N];网络世界;2007年
4 ;SaaS需要数据集成[N];网络世界;2007年
5 陈友梅;数据集成 永中Office之本[N];中国计算机报;2002年
6 邹大斌;发挥数据的最大价值[N];计算机世界;2007年
7 李稚;“集成”的困惑[N];计算机世界;2002年
8 刘学纲;互联互通平台的数据集成[N];中国计算机报;2003年
9 朱文;CIO希望攻克数据质量关[N];计算机世界;2008年
10 本报记者 邹大斌;Informatica:从数据中淘金[N];计算机世界;2008年
中国博士学位论文全文数据库 前10条
1 王欣;数据集成技术若干问题的研究[D];上海交通大学;2010年
2 蒋永国;面向传感网的海洋观测数据集成关键技术研究[D];中国海洋大学;2010年
3 卜志国;海洋生态环境监测系统数据集成与应用研究[D];中国海洋大学;2010年
4 周春英;超数据集成挖掘方法与技术研究[D];浙江大学;2012年
5 陈义;面向数据集成的数据复制和查询优化[D];中国科学院研究生院(软件研究所);2004年
6 张永新;面向Web数据集成的数据融合问题研究[D];山东大学;2012年
7 殷晓冬;声学测深数据处理与海陆数据集成方法研究[D];大连理工大学;2010年
8 吴春明;Deep Web数据集成关键技术及其在农业领域的应用[D];西南大学;2011年
9 聂培尧;基于XML的半结构数据管理及数据集成问题研究[D];西北工业大学;2002年
10 孙宏伟;XML与RDB的多层次双向数据集成技术研究[D];西北工业大学;2003年
中国硕士学位论文全文数据库 前10条
1 王雪;ETL在ISBN中心业务系统中的研究与应用[D];北方工业大学;2005年
2 王学军;异构数据库数据集成技术在计划生育系统中的实现[D];天津大学;2004年
3 沈方伟;面向UGIS的地形图数据集成方法研究[D];南京师范大学;2005年
4 李颢富;基于Web服务的配电网设备信息发布系统研究[D];华北电力大学(河北);2006年
5 袁书宏;面向学生数据中心的数据集成平台的研究、设计及实现[D];浙江大学;2006年
6 王世波;异构数据库集成及其应用的研究[D];哈尔滨理工大学;2007年
7 颜文萱;制造型企业管理信息系统异构数据集成方案研究[D];厦门大学;2008年
8 姚轩;基于XML的异构数据库集成的研究与实现[D];北京林业大学;2008年
9 陈丽红;异构数据库通用系统的设计[D];华侨大学;2001年
10 缪建明;集散控制系统的数据集成的研究与应用[D];福州大学;2003年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026