收藏本站
《哈尔滨工程大学》 2010年
收藏 | 手机打开
二维码
手机客户端打开本文

ETL技术在交通信息资源整合工程中的应用研究

葛迪  
【摘要】: 数据ETL(Extraction-Transformation-Loading)主要用来实现异构多数据源的数据集成,是数据仓库、数据挖掘以及商业智能等技术的基石。ETL具有数据抽取、数据传输、数据转换和数据装载功能,是数据整合的基础。 基于这些抽取方式和抽取工具,就需要对各种抽取的优缺点进行分析,虽然ETL工具在一定程度上可实现数据的集中抽取,表面上看起来和数据复制软件有些类似。但是该软件的定位和重点和其他类技术完全不同的。 本文主要依据ETL技术,结合黑龙江省交通资源整合项目的业务需求,针对厂商所提供的ETL产品进行了深入的研究。利用厂商ETL产品完成了公路建设、管理、养护、征稽和道路运输管理等交通业务系统的整合工作,构建了数据交换与整合系统功能、数据中心资源库、数据中心资源库管理等功能模块,满足了交通部资源整合推广工程对黑龙江省数据要求。 本文通过阅读大量文献,总结出ETL技术的主要功能,并利用ETL技术运用到我省交通信息资源整合工程中,通过数据交换和整合系统,制定数据交换任务,实现业务数据的采集、接收、抽取、传输、路由、转换等功能,最终将数据加载到整合资源库中,并针对各数据主题,实现资源整合库的目录管理。通过ETL过程为数据流动提供了可靠的方法,促使异构数据源流向同构目标数据转变。设计了数据的抽取、数据的清洗、数据的转换和数据的加载过程。通过本文的研究,可以真正为我省交通信息资源整合工程建设数据中心提供理论依据,并具有一定的可操作性。
【学位授予单位】:哈尔滨工程大学
【学位级别】:硕士
【学位授予年份】:2010
【分类号】:TP311.13

【参考文献】
中国期刊全文数据库 前4条
1 谢中会;徐捷;;基于元数据的信息系统集成的设计[J];电脑知识与技术(学术交流);2007年03期
2 谢小山,陈有青;企业数据仓库工具的研究与实现[J];现代计算机(专业版);2003年08期
3 张冬青;数据挖掘在电子商务中应用问题研究[J];现代情报;2005年09期
4 徐立臻,谢鸿强,董逸生;数据仓库系统中源数据的提取与集成[J];小型微型计算机系统;2003年05期
【共引文献】
中国期刊全文数据库 前10条
1 黄奕华;林晓敏;;Oracle数据库的备份及恢复技术的研究与应用[J];办公自动化;2007年04期
2 冯玉成;刘晓斌;何国良;杜家兴;;基于BMD的通用装备保障信息系统开发策略[J];兵工自动化;2009年12期
3 吕德亮;王晏民;张健钦;吴海燕;;面向宏观交通规划的移动对象模型及应用研究[J];北京建筑工程学院学报;2011年02期
4 席永亮;;电子商务网站的建设——通信器材网上销售系统[J];巴音郭楞职业技术学院学报;2008年01期
5 王国亮;安世全;;一种数据库连接池的动态控制策略[J];重庆邮电大学学报(自然科学版);2007年04期
6 郑洪源;周良;;基于CWM的标准ETL的设计与实现[J];吉林大学学报(信息科学版);2006年01期
7 张化川;张力生;包杰;;基于数据仓库技术的电信增值业务BI系统的构建[J];重庆工学院学报(自然科学版);2008年06期
8 周江川;彭川;;应急系统中不确定性异构数据的交换与集成[J];重庆理工大学学报(自然科学版);2010年08期
9 李哲琦;张莹;;基于XML的Web半结构化信息抽取[J];长春理工大学学报(自然科学版);2007年01期
10 吴纲;;一种轻量级ETL的设计与应用[J];长江大学学报(自然科学版)理工卷;2008年04期
中国重要会议论文全文数据库 前10条
1 汪挺;;Oracle多媒体数据管理策略综述[A];第13届全国计算机、网络在现代科学技术领域的应用学术会议论文集[C];2007年
2 成春艳;刘文烽;覃泉霖;;茶叶摊青关键数据监测分析与信息化管理系统的研究[A];广西计算机学会2009年年会论文集[C];2009年
3 高斯;徐德华;;保险业CRM平台ETL应用研究[A];第十届中国不确定系统年会、第十四届中国青年信息与管理学者大会论文集[C];2012年
4 陆忠良;苏厚勤;;基于Oracle/Linux环境数据抽取技术的研究与实践[A];第四届中国软件工程大会论文集[C];2007年
5 薛红;翁贻方;曹利红;施彦;;超市商业智能系统的数据仓库模型和联机分析研究[A];中国计量协会冶金分会2008年会论文集[C];2008年
6 薛红;翁贻方;曹利红;施彦;;超市商业智能系统的数据仓库模型和联机分析研究[A];2008全国第十三届自动化应用技术学术交流会论文集[C];2008年
7 许力;马瑞新;;基于快照比对的增量数据捕获研究与实现[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
8 武纬;童云海;唐世渭;;ETL在保险现金流预测分析中的应用与研究[A];第二十四届中国数据库学术会议论文集(技术报告篇)[C];2007年
9 张国强;贾素玲;刘琦;王强;;远洋运输企业数据集成技术研究及应用[A];2008第四届中国智能交通年会论文集[C];2008年
10 吕琳;朱东华;刘玉琴;;面向数据仓库的数据预处理研究综述[A];2007年中国智能自动化会议论文集[C];2007年
中国博士学位论文全文数据库 前10条
1 李桃迎;交通领域中的聚类分析方法研究[D];大连海事大学;2010年
2 罗永红;无缝运输信息网格的若干关键技术研究[D];中南大学;2011年
3 廖军;公路交通信息资源整合及系统实现研究[D];长安大学;2009年
4 寇月;Deep Web实体搜索的关键技术研究[D];东北大学;2009年
5 蓝敏;建设项目的自组织智能管理模式研究[D];西南交通大学;2006年
6 连剑波;基于XML的地质数据集成及WebGIS发布研究[D];中国科学院研究生院(广州地球化学研究所);2006年
7 袁方;面向智能信息检索的Web挖掘关键技术研究[D];东北大学;2006年
8 贾东浇;制造企业运作过程的信息集成关键技术研究[D];浙江大学;2006年
9 郭健全;网络环境下区域经济发展与控制问题研究[D];东华大学;2007年
10 易明;基于Web挖掘的电子商务个性化推荐机理与方法研究[D];华中科技大学;2006年
【二级参考文献】
中国期刊全文数据库 前10条
1 周志逵,徐先传;数据仓库中数据抽取、转换及加载工具研究[J];北京理工大学学报;2003年06期
2 宋宝燕,王国仁,于戈,郑怀远;模式集成代数[J];东北大学学报;1999年01期
3 全林生,时少英,朱亚芬,钱维宏;中国沙尘天气变化的时空特征及其气候原因[J];地理学报;2001年04期
4 金炯,董光荣,邵立业,刘玉璋,申建友;西藏土地风沙化问题的研究[J];地理研究;1994年01期
5 邓英;;数字化校园建设中公共数据整合方案研究[J];电脑知识与技术;2008年04期
6 陈东鹏;数据仓库技术在移动通信领域的应用[J];电信科学;2001年05期
7 邓杰超;;数字校园建设中的资源整合研究[J];广东科技;2007年02期
8 颜端武,王曰芬;数据仓库的数据组织及其联机分析处理实现[J];情报科学;2003年11期
9 N.Damas,徐德智;数据仓库设计方法研究[J];企业技术开发;2004年02期
10 李建中,hlju.edu.cn,高宏;一种数据仓库的多维数据模型[J];软件学报;2000年07期
中国重要会议论文全文数据库 前1条
1 张宜红;肖利;俞本权;陈淼;王能斌;;数据仓库中实视图的维护技术[A];第十五届全国数据库学术会议论文集[C];1998年
【相似文献】
中国期刊全文数据库 前10条
1 李坤;;数据仓库在油田数据中心建设中的应用[J];工业控制计算机;2008年06期
2 张宁,贾自艳,史忠植;数据仓库中ETL技术的研究[J];计算机工程与应用;2002年24期
3 占小忆;;教学管理数据仓库中ETL的实现[J];科技创新导报;2011年16期
4 王克龙,王玲,王平立,宋斌;数据仓库中ETL技术的探讨与实践[J];计算机应用与软件;2005年11期
5 祁利刚;候小静;;基于数据仓库的ETL技术研究[J];中国电力教育;2006年S1期
6 尹群,姚立民;基于数据仓库的银行资产负债管理系统研究与设计[J];现代计算机;2003年03期
7 林中;;ETL在福建省房地产市场数据仓库建设中的应用[J];福州大学学报(自然科学版);2011年02期
8 张忠平;赵瑞珍;;基于元数据驱动的ETL架构设计[J];计算机应用与软件;2009年06期
9 王黎峰;;面向中小企业的数据仓库架构设计与实现[J];农业网络信息;2009年12期
10 毕锟;刘军;;ETL系统的设计及其研究[J];软件导刊;2010年05期
中国重要会议论文全文数据库 前10条
1 毛明志;黄春贤;;一种新的数据仓库ETL框架及其应用[A];第二十三届中国数据库学术会议论文集(技术报告篇)[C];2006年
2 张卫华;方幼林;杨冬青;唐世渭;余立波;付强;;数据仓库ETL过程支撑框架研究[A];第十九届全国数据库学术会议论文集(技术报告篇)[C];2002年
3 侯杰华;邹暾;姚利军;;湖南省烟草商业系统数据中心建设研究[A];中国烟草学会2009年年会论文集[C];2009年
4 宗胜旺;张晖;;通用ETL的研究与实现[A];全国第十届企业信息化与工业工程学术年会论文集[C];2006年
5 杨崇联;谢旭升;;基于数据仓库的政府决策支持服务系统研究与实现[A];第二十三届中国数据库学术会议论文集(技术报告篇)[C];2006年
6 唐蕾;张剡;柏文阳;徐洁磐;;数据仓库工具集NGDW-1的设计与实现[A];第十九届全国数据库学术会议论文集(研究报告篇)[C];2002年
7 宋擒豹;沈钧毅;;数据仓库体系结构研究[A];第十六届全国数据库学术会议论文集[C];1999年
8 姚卿达;屈定春;;联邦数据库互操作方法在数据仓库中的应用[A];数据库研究进展97——第十四届全国数据库学术会议论文集(下)[C];1997年
9 朱明华;许屹;钱升;何创辉;;衢州电力局营销配电系统整合方案[A];衢州市自然科学优秀论文选编(2001-2004)[C];2005年
10 刘伟宏;李晋晋;何瑷;徐洁磐;;数据仓库及其在OMNIX中的实现[A];第十七届全国数据库学术会议论文集(技术报告篇)[C];2000年
中国重要报纸全文数据库 前10条
1 段云峰 杨凤年 宋俊德;数据仓库必不可少[N];计算机世界;2002年
2 本报记者 潘永花;数据仓库峥嵘时[N];网络世界;2003年
3 黄平;如何提升数据仓库的数据质量[N];计算机世界;2005年
4 ;“快钱”的速度[N];网络世界;2005年
5 ;IBM DB2商业智能软件[N];中国计算机报;2007年
6 刘庆;颗粒归“仓”,刀枪入“库”[N];网络世界;2006年
7 本报记者 赵晓涛;中国人保试点数据仓库[N];网络世界;2004年
8 本报记者 潘永花;实时企业的决策引擎[N];网络世界;2005年
9 邹大斌;关注商业智能的性能[N];计算机世界;2007年
10 ;数据仓库向外部用户开放[N];网络世界;2007年
中国博士学位论文全文数据库 前10条
1 宋杰;面向多类型数据源的数据仓库构建及ETL关键技术的研究[D];东北大学;2008年
2 孟京辉;经营单位级森林经营数据仓库研建及应用研究[D];中国林业科学研究院;2011年
3 朱传华;三峡库区地质灾害数据仓库与数据挖掘应用研究[D];中国地质大学;2010年
4 李泽海;数据仓库中多维数据处理与查询相关技术的研究[D];吉林大学;2005年
5 张旭峰;ETL若干关键技术研究[D];复旦大学;2006年
6 陈燕;数据仓库的设计与实现[D];大连理工大学;2000年
7 克里木;自适应数据仓库系统的研究与实现[D];大连理工大学;2003年
8 徐小博;客户关系管理系统的安全防护机制[D];吉林大学;2012年
9 陈金玉;数据仓库实体化视图联机—致性维护研究[D];重庆大学;2002年
10 陈辉;基于虚拟化环境的数据中心节能管理技术研究[D];北京邮电大学;2012年
中国硕士学位论文全文数据库 前10条
1 廉博;数据仓库中ETL技术的研究与实现[D];沈阳工业大学;2006年
2 葛迪;ETL技术在交通信息资源整合工程中的应用研究[D];哈尔滨工程大学;2010年
3 蒋昙飞;面向社区服务的数据仓库关键技术研究与实现[D];西安电子科技大学;2009年
4 卢琳;电信企业经营分析系统建设[D];山东大学;2005年
5 张军玲;数据仓库在电信综合运营支撑系统中的应用[D];西安电子科技大学;2009年
6 龙涛;改善数据仓库中数据质量的方法与应用[D];湖南大学;2009年
7 李颖;基于电信客户关怀项目的ETL设计与实现[D];西北大学;2008年
8 张锐;分析报表系统中ETL和数据集市的架构设计和实现[D];苏州大学;2007年
9 韩鹏;ETL工具的设计实现与应用[D];吉林大学;2006年
10 薛娟;ETL技术在实现数据分析系统中的应用研究[D];东华大学;2011年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026