基于组件的异构数据集成与转换系统的研究与实现

【摘要】：论文研究和设计了基于组件技术的异构数据集成与转换系统,对异地异构数据源的数据进行数据汇总、抽取以及转换,并将数据装载到目标数据库中,方便用户及时访问到需要的各种数据以便加强管理和做出正确的决策。 论文首先介绍了数据集成与转换系统的相关背景知识、发展现状和目前流行的ETL工具,确定了异构数据集成与转换系统的设计目标和功能要求。 接着提出了基于Java和组件技术的异构数据集成与转换的系统框架。文中对系统的设计与实现进行了深入的论述,详细说明了系统中主要模块的设计。 然后介绍了基于组件技术的转换函数的设计与实现,具体阐述了组件模型设计思想和实现步骤,研究了转换组件的定义和组织方法,并研究了原子组件的制作方法以及通过组装原子组件构造复合转换函数的方法。用组件技术来实现转换函数,大大提高了系统的扩展性、通用性和灵活性。 在系统采用的关键技术中,用数据类型对应表存储数据转换中类型对应关系以便灵活地完成数据类型的转换;解析映射关系表达式以生成转换规则;使用XML技术管理组件信息,方便了对组件的管理、查询和使用;多线程技术使得同时完成大量数据抽取和转换成为可能;采用动态SQL技术实现转换函数使其变得更加灵活。 论文最后对异构数据集成与转换系统设计与实现工作进行了总结,并阐述了将来进一步可以完善的一些相关工作。