收藏本站
《北方工业大学》 2018年
收藏 | 手机打开
二维码
手机客户端打开本文

基于ETL的数据集成及交换系统的实现与优化

李磊  
【摘要】:随着信息化建设在各行各业的深入开展,亟需在各个分散的应用之间提供横向数据贯通的通道,实现灵活的数据交换与信息共享。论文基于ETL技术设计与实现了一个数据集成与交换系统,对ETL增量交换任务模型、ETL任务调度方法等关键技术进行了研究,并在实际应用项目中进行了验证。论文主要工作和贡献包括:1)设计基于ETL的数据集成及交换系统架构,包括逻辑架构、物理架构,并对总体架构的各个模块进行详细设计。针对ETL增量数据交换过程中异常导致任务失败的情况,设计时间窗口数据去重方法,实现ETL时间窗口增量交换任务模型,减少异常对数据交换效率的影响。2)提出ETL任务集群调度方法,优化ETL调度分配与执行过程,提高计算资源利用率。该方法把ETL任务的调度与执行进行分离,并根据ETL任务参数对任务进行批量自动分配,在执行阶段动态调整任务的优先级优化执行。对比ETL任务单机执行,ETL任务集群调度扩展了 ETL的执行能力。3)基于本系统设计、实现了面向公安局作战指挥平台的ETL交换任务业务流程并进行部署运行。目前已稳定上线运行半年多,应用中有100多个ETL任务按数据量大小均匀分配到ETL任务集群执行器,保证了每个任务能获得机会运行,保证了时间戳增量抽取数据流程的可靠性,提高了数据抽取效率。初步验证了系统的有效性。
【学位授予单位】:北方工业大学
【学位级别】:硕士
【学位授予年份】:2018
【分类号】:TP311.13

【相似文献】
中国期刊全文数据库 前10条
1 谢子秋;唐锦辉;李刚;夏海朋;周宇;孙熹;柳燕杰;蒋海泥;;医疗质量管理系统全数据集成[J];中国数字医学;2017年05期
2 华镕;;数据集成:二、数据集成101[J];中国仪器仪表;2016年10期
3 吴钰峰;;云计算数据集成与服务系统的构建[J];数码世界;2016年12期
4 韩蕊;;大数据呼唤数据集成新思维[J];互联网周刊;2013年22期
5 褚鸿君;;数据联邦促进企业数据集成[J];软件世界;2008年01期
6 周冰;;调查显示:数据集成获中国企业认同[J];信息化纵横;2008年08期
7 董峰;李晋宏;;企业数据集成综述[J];中国金属通报;2008年42期
8 陈默;;Sybase推出新款软件[J];计算机与网络;1998年06期
9 王拓,王伟;CIMS的数据集成[J];计算机研究与发展;1994年01期
10 鲁玉峰;李丹;王硕;;基于信息资源管理的制造企业数据集成规划的研究[J];智能制造;2016年10期
中国重要会议论文全文数据库 前10条
1 路辉;;基于数据集成与共享构建系统[A];物联网与电力新技术——2014年云南电力技术论坛论文集[C];2014年
2 许国艳;王志坚;;基于主动服务的领域数据集成研究[A];2008年全国开放式分布与并行计算机学术会议论文集(上册)[C];2008年
3 李宗华;肖道纲;彭明军;;数字武汉空间基础数据集成建库及应用[A];坚持科学发展观 推进自主创新 促进国家创新型城市建设——武汉市第二届学术年会论文集[C];2006年
4 乔慧捷;赵海军;纪力强;;生物多样性数据集成模式初探[A];第五届全国生物多样性保护与持续利用研讨会论文摘要集[C];2002年
5 李宗华;彭明军;;规划国土资源管理空间数据集成应用与运行机制探讨[A];2004城市规划年会论文集(下)[C];2004年
6 曾惠兰;曾松峰;廖斌;;柔性数据集成助推坚强智能电网[A];2009电力行业信息化年会论文集[C];2009年
7 叶群峰;;基于SOA的企业数据集成交换的研究与实践[A];中国烟草学会2014年学术年会入选论文摘要汇编[C];2014年
8 蔡彪;廖闻剑;彭艳兵;;Deep Web数据集成和关键技术综述[A];2009年研究生学术交流会通信与信息技术论文集[C];2009年
9 刘跃军;艾鸿;刘国华;;数据集成中的XML查询重写[A];2005年全国理论计算机科学学术年会论文集[C];2005年
10 陆新建;王建新;田双昌;;新一代流程工业生产实时数据集成方案[A];2009中国过程系统工程年会暨中国mes年会论文集[C];2009年
中国重要报纸全文数据库 前10条
1 Ronald van Loon;大数据的未来掌控于数据集成[N];中国信息化周报;2017年
2 佚名;现代数据集成很重要[N];中国信息化周报;2017年
3 本报记者 王若曦;数据集成分析 能源互补协调[N];中国电力报;2017年
4 浙江义乌市局(分公司) 陈兵来;数据集成让决策更科学[N];东方烟草报;2014年
5 吕梁市煤炭设计研究院 张萍;浅析数据集成环境下煤炭企业管理信息系统的构建[N];吕梁日报;2012年
6 陈友梅;数据集成 永中Office之本[N];中国计算机报;2002年
7 本报记者 于翔;数据集成开启云征程[N];网络世界;2010年
8 于翔;集成即服务:面向云的数据集成[N];网络世界;2009年
9 通讯员 张一龙 本报记者 祁文运;标准线牵引标准化建设[N];国家电网报;2008年
10 ;SaaS需要数据集成[N];网络世界;2007年
中国博士学位论文全文数据库 前10条
1 陈义;面向数据集成的数据复制和查询优化[D];中国科学院研究生院(软件研究所);2004年
2 曹顺良;生物学数据集成若干关键问题研究[D];复旦大学;2005年
3 孟永胜;装备制造业产品制造数据集成管理研究与应用[D];大连理工大学;2006年
4 王学军;基于GIS的石油勘探开发数据集成管理技术研究[D];中国地质大学(北京);2017年
5 鄂新华;面向服务的数据集成若干关键技术研究[D];北京邮电大学;2015年
6 姜朔;数据空间中数据集成若干关键问题研究[D];东华大学;2014年
7 董永权;Deep Web数据集成关键问题研究[D];山东大学;2010年
8 李雁妮;深网数据集成与挖掘关键问题的建模及算法研究[D];西安电子科技大学;2013年
9 郑阶财;非结构化数据的相关问题研究[D];山东大学;2017年
10 李冠宇;基于智能体和本体的语义数据集成研究[D];大连理工大学;2010年
中国硕士学位论文全文数据库 前10条
1 刘寒啸;易天数据管理系统数据集成和数据分析模块的设计与实现[D];南京大学;2018年
2 李磊;基于ETL的数据集成及交换系统的实现与优化[D];北方工业大学;2018年
3 张福麟;面向异构大数据集成的实体识别技术研究[D];北京邮电大学;2018年
4 李磊;人员数据集成管理平台的设计与实现[D];北京交通大学;2017年
5 郭绍永;基于协同工作的分布式数据集成的研究与实现[D];武汉理工大学;2009年
6 吕岳东;基于本体的科学数据集成与共享方法研究[D];太原科技大学;2010年
7 周幼静;临床数据集成浏览终端的设计与实现[D];浙江大学;2006年
8 程颖;区域异构医疗数据集成与交换技术的研究与实现[D];河北科技大学;2017年
9 冯尚攀;异构知识仓库数据集成关键技术的研究与实现[D];北京邮电大学;2016年
10 姬广龙;基于税务云平台的数据集成流程的设计与实现[D];山东大学;2017年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026