收藏本站
《厦门大学》 2007年
收藏 | 手机打开
二维码
手机客户端打开本文

支持数据仓库国际化的ETL技术中若干关键问题研究和实践

许威  
【摘要】: 伴随着数据仓库的深入应用和中国企业国际化进程的深化,如何对来自国内外的客户数据的进行有效的管理和应用已经成为关系到成长中的中国跨国企业进一步推进自身信息化建设的重要关键问题,本文开展支持数据仓库系统国际化的一系列关键技术研究,一方面探索数据分析和应用过程中需要解决的一系列技术难题,如数据抽取和存储过程中常见的多国语言字符集兼容性,构建健壮性的数据装载体系,如何对多数据源ETL加载数据的过程进行统一控制和事后审计处理等问题,另一方面本论文选择了目前比较流行的商务智能产品Informatica、Oracle、Teradata为基础平台构建一个原型库,希望以其为切入点,可以进一步推进数据仓库技术的相关理论和应用研究,有助于推广该技术从而满足企业全球化进程中面向客户需求和切入国际市场的要求。为有兴趣部署和实施类似系统的单位/组织提供一个技术实践。 本论文开展支持数据仓库系统国际化的一系列关键技术研究,主要取得了以下几个方面的主要成果: 第一、为解决源数据和目标数据库的字符集转换的问题,本论文特别提出了将多语言字符集数据装载技术(MEETL)应用于数据库和装载工具的数据流加工,将该方法引向新的重要领域从而在国际上占有一席之地; 第二、对源和目标数据库以及装载工具之间的字符集转换的问题进行探索;在MEETL技术的基础上提出并证明了正确移动数据条件下的ETL字符集兼容性定理(Character Set Conversion Compatible Theorem,简称CSCCT)和代码页兼容性定理(Code Page Compatible Theorem简称CPCT)。 第三、提出改进的UTF-8与编码Unicode转换算法UTF8DecodeUnicode,并通过引入自定义UTF字符集转换函数的办法,绕过Teradata数据库自身的字符集转换机制,从而解决了从Oracle源数据到Teradata目标数据仓库ETL过程中在处理某些非兼容性Unicode字符时产生6705错误的问题。 第四、通过实现一个具体的应用模型系统,完成了多数据源ETL加载数据的控制处理。本文提出了三种数据处理控制技术:过程同步控制(Process Synchronization Control,简称PSC)、时间范围控制(Time Range Control,简称TRC)和通用审计控制(Common Audit Control,简称CAC)。它们能够优化ETL架构、提高数据装载的效率、并且定义审计规则和保存审计历史数据用于日后分析和跟踪调错,防止错误数据载入数据仓库的情况发生。 第五、建立具有高处理能力和高扩展能力的数据仓库平台,以适应处理装载日益庞大市场数据的要求。这就要求有一套能够缩短生产系统的运行时间和占用更少的系统资源的数据装载体系架构。现有的大部分数据仓库系统所有的生产程序使用相同的目标数据库用户名/密码,这样不仅系统安全性会有问题,同时由于用户名相同,不同的生产程序对系统资源的占用也存在相同的优先级。新的设计思路是不同主题域的生产程序运行时可以使用与该主题域相对应的账户,减少生产程序之间运行过程的相互依赖性反过来也就保证了生产系统加载过程的稳定性。
【学位授予单位】:厦门大学
【学位级别】:博士
【学位授予年份】:2007
【分类号】:TP311.13

手机知网App
【引证文献】
中国期刊全文数据库 前2条
1 赵相东;张浩;陆剑峰;;面向大型钢铁集团的商务智能应用系统解决方案[J];计算机集成制造系统;2010年09期
2 杨晓雪;;数据仓库在院系绩效评价平台的设计应用[J];实验技术与管理;2011年06期
中国硕士学位论文全文数据库 前6条
1 童建飞;数据挖掘在电信移动客户行为分析中的应用研究[D];南昌大学;2010年
2 王静永;汽车销售分析决策系统设计与实现[D];吉林大学;2011年
3 王延博;储汇经营分析管理系统的设计与实现[D];吉林大学;2009年
4 李燕;ETL技术在电信经营分析项目中的应用[D];华南理工大学;2009年
5 周轶群;基于数据挖掘的电信宽带预处理系统的设计与实现[D];南昌大学;2009年
6 张军;数据挖掘在电信商业客户行为分析中的应用研究[D];南昌大学;2010年
【参考文献】
中国期刊全文数据库 前10条
1 金菁;认识UniCode[J];电脑爱好者;1999年09期
2 刘卉芳;ORACLE字符集浅析——异种字符集数据库间的数据存取方法探讨[J];电脑编程技巧与维护;2005年10期
3 宋秋贵;岳峰;石正海;王锦玉;;一种应用UNICODE设计多语言实时切换应用程序的解决方案[J];电脑开发与应用;2006年03期
4 陈壮;;ISO/IEC JTC1/SC2编码字符集[J];信息技术与标准化;2006年11期
5 石田晴久;UNIX命令的输入输出转换和流水线[J];计算机工程与应用;1983年09期
6 程仁洪;不同字符集的ORACLE数据库对象和信息转换方法[J];计算机工程与应用;2002年05期
7 夏传良;对UNIX系统中B-shell的功能扩展[J];计算机工程与应用;2005年07期
8 肖震;陈红;王珊;;并行数据仓库ParaWare系统的查询优化[J];计算机科学;2003年05期
9 黄河清,李治柱;基于动态数据库的多国语言网站开发[J];计算机工程;2005年02期
10 鹿文鹏,薛若娟;Unicode与UTF-8编码转换方法研究[J];计算机时代;2005年09期
【共引文献】
中国期刊全文数据库 前10条
1 王咏梅,任书俊;利用已有数据库 简化成教院教务工作[J];安徽教育学院学报;2000年03期
2 周秋平;基于Web的数据库访问技术的研究[J];安徽教育学院学报;2003年06期
3 李龙澍,程慧霞;农业气象数据库管理系统AWDBS[J];安徽大学学报(自然科学版);1994年02期
4 李鸿;解决数据一维平衡的数组变换遍历算法[J];安徽大学学报(自然科学版);1998年02期
5 郑斌;李涓子;;农产品市场中数据挖掘的应用[J];安徽农业科学;2008年18期
6 刘宏;胡凤莲;;基于JSP技术的中草药资源信息系统设计与开发研究[J];安徽农业科学;2008年24期
7 李宏丽;彭沛全;方立刚;姜真杰;周德富;;基于MS Analysis Services的土地利用OLAP多维分析研究[J];安徽农业科学;2009年26期
8 张福安;包振强;;数据库原理及应用课程教学改革与实践[J];安徽工业大学学报(社会科学版);2010年01期
9 高宇;;安徽师范大学本科生素质综合测评系统的设计与实现[J];安徽师范大学学报(自然科学版);2011年05期
10 郭盈;;一种3G网络下的LBS架构研究及实现[J];信息安全与技术;2011年05期
中国重要会议论文全文数据库 前10条
1 兰彬;张燕;;数据库系统原理课程教学改革及思考[A];都市型高等农业教育教学改革论文专辑[C];2007年
2 邓淑丹;江文浦;;幼儿园查询系统研究与实现[A];中国测绘学会九届三次理事会暨2007年“信息化测绘论坛”学术年会论文集[C];2007年
3 赵攀;田宜平;;基于GIS的城镇土地定级信息系统的数据库设计[A];中国测绘学会九届三次理事会暨2007年“信息化测绘论坛”学术年会论文集[C];2007年
4 赵会兵;李朝奎;;基于ASP.NET的CET考务管理系统[A];中国测绘学会九届三次理事会暨2007年“信息化测绘论坛”学术年会论文集[C];2007年
5 刘福江;吴信才;杨兆武;孙华山;郭艳;;黑龙江省矿产地WEBGIS系统的研究与设计[A];2006北京地区高校研究生学术交流会——通信与信息技术会议论文集(下)[C];2006年
6 王文帅;张红梅;陈刚;;ARP系统在高能所的部署和管理[A];第十三届全国核电子学与核探测技术学术年会论文集(下册)[C];2006年
7 张红梅;欧歌;陈刚;卢宇;屈进禄;;HXMT科学运行中心数据平台建设[A];第十四届全国核电子学与核探测技术学术年会论文集(下册)[C];2008年
8 苏红帆;黄宁宁;韦录丰;;Windows环境下软件国际化开发的解决方案[A];广西计算机学会2006年年会论文集[C];2006年
9 麦华韬;;小灵通网络信令监测的探讨与实现[A];2007中国科协年会——通信与信息发展高层论坛论文集[C];2007年
10 张红梅;欧歌;陈刚;卢宇;屈进禄;;HXMT科学运行中心数据平台建设[A];第十四届全国核电子学与核探测技术学术年会论文集(2)[C];2008年
中国博士学位论文全文数据库 前10条
1 闫培雷;考虑隔墙影响的框架结构非线性地震反应分析及地震灾场模拟[D];哈尔滨工程大学;2010年
2 李昕;电子商务Web数据库不精确查询方法研究[D];辽宁工程技术大学;2010年
3 卢建平;基于拓扑学和统计学的无字库汉字智能造字研究[D];华南理工大学;2010年
4 眭新光;文本信息隐藏及分析技术研究[D];解放军信息工程大学;2007年
5 车森;空间数据跨媒介可视化输出研究[D];解放军信息工程大学;2010年
6 赵亮;面向位置服务的移动对象并发查询处理技术[D];国防科学技术大学;2010年
7 周栩;本体工程中若干问题的研究[D];吉林大学;2011年
8 赵洪岩;采用非标记定量技术对变形链球菌耐氟菌株的差异蛋白质组学研究[D];吉林大学;2011年
9 王日勖;抚顺西露天矿北帮滑坡监测预报系统研究[D];吉林大学;2011年
10 汪志红;突发事件应急管理中的关键统计技术研究[D];暨南大学;2011年
中国硕士学位论文全文数据库 前10条
1 曹磊;长江上游珍稀特有鱼类基础地理数据库的建立与应用[D];华中农业大学;2010年
2 赵海峰;基于Epicentre的数据模型投影工具研究与应用[D];南昌航空大学;2010年
3 宋洪俊;基于OPC的实时数据库接口设计与实现[D];山东科技大学;2010年
4 姜春晖;基于UML的报刊销售管理系统的设计与实现[D];郑州大学;2010年
5 王国宾;面向对象的公路空间数据库系统研究[D];郑州大学;2010年
6 李文君;气垫船模拟器教练员系统开发研究[D];哈尔滨工程大学;2010年
7 李伟光;基于BP神经网络的数据库模式匹配方法研究[D];哈尔滨工程大学;2010年
8 赵萍;模型驱动系统中模型转换技术的研究[D];哈尔滨工程大学;2010年
9 朱春雷;兵员管理系统安全机制研究[D];哈尔滨工程大学;2010年
10 宋乃飞;新一代数据库查询优化策略应用研究[D];大连理工大学;2010年
【同被引文献】
中国期刊全文数据库 前10条
1 贾骥;数据仓库技术在宝钢1580mm热轧带钢生产中的应用尝试[J];宝钢技术;2000年05期
2 李侯飞;宝钢整体产销系统归档的技术设计[J];宝钢技术;2001年02期
3 李拥军,宫杰,仲海涛;关于包钢营销决策支持系统的体系结构设计[J];包钢科技;2004年03期
4 尤欣;;ETL技术在商业智能中的应用[J];电脑应用技术;2008年03期
5 顾建华;;企业经营分析系统项目建设中的问题与对策[J];电脑知识与技术(学术交流);2007年12期
6 常恩翔;刘洪芳;;数据仓库与OLAP技术的应用研究[J];电脑知识与技术;2009年11期
7 赵涛;;基于戴明环的企业质量信息管理研究[J];低温与超导;2009年02期
8 佟敏;;中国移动省级经营分析系统建设[J];电信技术;2008年01期
9 徐志发;经营分析系统在电信业应用中若干问题的分析[J];电信科学;2005年01期
10 王君珂,鲁卫东;电信行业的经营分析系统研究[J];电信科学;2005年07期
中国博士学位论文全文数据库 前8条
1 李泽海;数据仓库中多维数据处理与查询相关技术的研究[D];吉林大学;2005年
2 宋卫林;基于最大频繁项目集的数据挖掘关联规则算法研究[D];北京邮电大学;2006年
3 陈金波;面向电信CRM的数据挖掘应用研究[D];东南大学;2006年
4 郝占刚;基于遗传算法等技术的数据与文本聚分类研究[D];天津大学;2006年
5 牛琨;聚类分析中若干关键技术及其在电信领域的应用研究[D];北京邮电大学;2007年
6 马猛;面向生物数据的关联规则挖掘算法及其应用研究[D];中国科学技术大学;2008年
7 常建龙;数据流聚类及电信数据流管理[D];复旦大学;2008年
8 董杰;基于位表的关联规则挖掘及关联分类研究[D];大连理工大学;2009年
中国硕士学位论文全文数据库 前10条
1 闫禹;多维关联规则数据挖掘研究及其在学生信息系统中的应用[D];沈阳工业大学;2003年
2 廉博;数据仓库中ETL技术的研究与实现[D];沈阳工业大学;2006年
3 喻昌祺;多维关联规则算法设计[D];北京邮电大学;2006年
4 罗兵;基于元数据控制的ETL系统应用研究[D];西南大学;2006年
5 周岚;Oracle中基于Java的存储过程[D];安徽大学;2006年
6 钟镜平;关联规则挖掘在心理分析中的应用研究[D];浙江大学;2007年
7 吕洪敏;基于Oracle数据仓库应用技术的研究与实现[D];武汉科技大学;2007年
8 黄宇;关联规则分析在电信告警系统中的研究与应用[D];电子科技大学;2007年
9 肖海林;网络告警关联规则挖掘系统的研究与设计[D];电子科技大学;2007年
10 宁一鉴;基于增值业务的客户消费行为数据挖掘模式分析[D];西南交通大学;2007年
【二级引证文献】
中国期刊全文数据库 前5条
1 刘红婷;;基于数据仓库的高校教务决策系统设计[J];连云港职业技术学院学报;2011年04期
2 赵相东;;面向银行业的商务智能系统架构及元数据管理[J];金融科技时代;2012年11期
3 李文成;陈文照;高燕;;钢铁企业MES系统中的数据存储技术及其应用[J];信息通信;2013年04期
4 邹滨;赵顺;;医院管理决策中统计信息的应用[J];吉林医学;2013年31期
5 张红;陈飞;;商务智能研究综述[J];中国卫生信息管理杂志;2012年03期
中国重要会议论文全文数据库 前1条
1 缪国宇;刘洪鹏;苏文学;刘荣生;赵相东;;基于数据仓库的企业指标分析系统[A];中国计量协会冶金分会2012年会暨能源计量与节能降耗经验交流会论文集[C];2012年
中国博士学位论文全文数据库 前1条
1 曾珠;基于客户行为差异的汽车售后服务推荐研究[D];武汉理工大学;2013年
中国硕士学位论文全文数据库 前10条
1 袁丽娜;警务综合信息系统数据仓库的建设与实践[D];华南理工大学;2011年
2 吕书玉;基于客户行为分析的汽车售后备件损耗关联研究[D];武汉理工大学;2012年
3 尹琪玲;基于数据挖掘的汽车售后客户行为研究[D];武汉理工大学;2012年
4 汤侃明;派出所报警管理系统的设计与实现[D];电子科技大学;2012年
5 胡乐炜;商务网站客户行为关联规则挖掘方法研究[D];武汉工业学院;2012年
6 郭红宇;基于数据挖掘的电信反欺诈管理系统的设计与实现[D];电子科技大学;2012年
7 胡善杰;在云环境下的数据挖掘算法的并行化研究[D];电子科技大学;2013年
8 樊建永;基于数据仓库的院系绩效评价与分析系统的应用研究[D];陕西师范大学;2013年
9 黄祉飞;商务智能技术研究暨在企业集团管控一体化中的应用[D];湖南大学;2013年
10 王子君;电网企业财务管理系统的设计与实现[D];东北大学;2013年
【二级参考文献】
中国期刊全文数据库 前10条
1 蒋曼芳,夏保琴,郭静;用多种语言实现短消息中的中文和UNICODE之间的转换[J];广东自动化与信息工程;2005年02期
2 黄斌,杨世洪,吴钦章;数据库中特大图像快速存储与显示研究及实现[J];计算机工程与应用;2005年05期
3 王冰洋,陈伟,姜大志,丁秋林;PowerBuilder环境下异种数据库应用系统集成的实现方法[J];计算机工程;2001年02期
4 鹿文鹏,薛若娟;Unicode与UTF-8编码转换方法研究[J];计算机时代;2005年09期
5 李旭东,程仁洪,涂菶生;不同字符集数据库间的访问与移植研究[J];计算机应用;2001年12期
6 龚光燃,苑寅秋,戴勇,王宁生;Oracle数据库服务器字符集冲突解决方案[J];计算机应用研究;2001年07期
7 高定国,龚育昌;现代藏字全集的属性统计研究[J];中文信息学报;2005年01期
8 张霞,张胜男,黄有群,赵双强;CAI课件中主题文件的超文本结构生成技术[J];沈阳工业大学学报;2000年01期
9 侯勇严 ,郭文强 ,孙瑜;一种融合型智能PID控制器的研究与应用[J];微计算机信息;2005年06期
10 周志芳;VB的Unicode编码与中文处理[J];中国金融电脑;2001年09期
【相似文献】
中国期刊全文数据库 前10条
1 刘明吉,张晓京,刘洪杰,王秀峰,王治宝;数据仓库在证券交易中的研究与应用[J];计算机工程;2000年02期
2 陶再平,陈奇,俞瑞钊;数据仓库在企业中应用的研究[J];计算机工程;2000年07期
3 赵玉源,梁阿磊,白英彩;一种数据仓库联机维护算法[J];计算机工程;2000年08期
4 颜端武,张玉峰;数据仓库的成本效益分析与风险管理研究[J];情报科学;2000年09期
5 陈建平;数据仓库的管理与使用[J];长春邮电学院学报;2000年03期
6 马洪江;浅论数据仓库在企业管理决策支持系统中的应用[J];成都大学学报(自然科学版);2000年03期
7 邓文华,梅志红;基于数据仓库的铁路物资管理决策支持系统的研究[J];华东交通大学学报;2000年02期
8 王德军,邹永显;抓住核心 e化银行[J];上海微型计算机;2000年48期
9 唐宏,聂能,熊思民,赵明伟;数据仓库实现技术[J];数字通信;2000年08期
10 赵军,王国胤,吴中福,李华;数据仓库及其实现[J];数字通信;2000年08期
中国重要会议论文全文数据库 前10条
1 李洁;李庆忠;王海洋;;一种有效的在线修改数据仓库算法[A];第十六届全国数据库学术会议论文集[C];1999年
2 冯建华;蒋旭东;刘建民;周立柱;;面向市场分析与预测的数据仓库平台[A];第十六届全国数据库学术会议论文集[C];1999年
3 王晓玲;谢鸿强;刘安;董逸生;;数据仓库建模工具的研制[A];第十七届全国数据库学术会议论文集(研究报告篇)[C];2000年
4 张德辉;李建中;;多维压缩数据仓库上的并行聚集算法[A];第十七届全国数据库学术会议论文集(研究报告篇)[C];2000年
5 潘海为;李建中;;数据仓库的并行加载算法[A];第十七届全国数据库学术会议论文集(研究报告篇)[C];2000年
6 宋荷庆;胡华;;在证券公司业务中建造数据仓库[A];第十八届全国数据库学术会议论文集(技术报告篇)[C];2001年
7 隋琪;王海洋;;一种基于数据仓库的服务评估方法[A];第二十二届中国数据库学术会议论文集(技术报告篇)[C];2005年
8 宋国杰;杨冬青;林子雨;唐世渭;王腾蛟;谢昆青;;实时主动数据仓库的概念、问题及应用[A];第二十四届中国数据库学术会议论文集(研究报告篇)[C];2007年
9 杜鹢;宋自林;;虚拟数据仓库的研究与应用[A];第十五届全国数据库学术会议论文集[C];1998年
10 程永生;乐嘉锦;;数据仓库:数据的提取与转化[A];数据库研究进展97——第十四届全国数据库学术会议论文集(下)[C];1997年
中国重要报纸全文数据库 前10条
1 首之;银行业数据仓库技术应用亟待起步[N];金融时报;2005年
2 ;数据仓库解决方案[N];中国计算机报;2002年
3 中国人民大学数据仓库与商务智能工程研究中心 $$  中国人民大学数据与知识工程研究所王珊、谢佳明、陈红、刘中蔚、邵琦洪、张宁;创建数据仓库:要面向三条路线[N];中国计算机报;2002年
4 IBM 软件 Barry Devlin 博士;信息集成——数据仓库架构的扩展[N];中国计算机报;2003年
5 李军;数据仓库新增长点在哪里?[N];中国计算机报;2004年
6 段云峰 杨凤年 宋俊德;数据仓库必不可少[N];计算机世界;2002年
7 文武;数据仓库助大鹏转型[N];计算机世界;2003年
8 ;数据仓库实施的“新浪潮”[N];计算机世界;2005年
9 本报记者 侯闯;竞争压力推动数据仓库应用[N];计算机世界;2005年
10 本报记者 程亮;数据仓库人才紧缺[N];人才市场报;2005年
中国博士学位论文全文数据库 前10条
1 宋旭东;企业集团数据仓库系统关键技术研究[D];大连理工大学;2010年
2 陈燕;数据仓库的设计与实现[D];大连理工大学;2000年
3 冯玉;数据仓库环境中近似查询处理技术研究[D];中国科学院研究生院(计算技术研究所);2002年
4 孙剑;海洋环境数据仓库与数据挖掘应用研究[D];中国海洋大学;2011年
5 栗然;电力负荷分析与预测的分布式数据仓库和数据挖掘研究[D];华北电力大学(河北);2009年
6 李学锋;矿山企业数据仓库的应用研究[D];昆明理工大学;2005年
7 马军杰;基于数据仓库与联机处理的区域经济发展管理决策支持系统研究[D];华东师范大学;2007年
8 陈金玉;数据仓库实体化视图联机—致性维护研究[D];重庆大学;2002年
9 朱传华;三峡库区地质灾害数据仓库与数据挖掘应用研究[D];中国地质大学;2010年
10 麦永浩;数据仓库和数据挖掘方法研究及其在公安信息建设中的应用[D];华东理工大学;2000年
中国硕士学位论文全文数据库 前10条
1 孙水华;基于数据仓库的库存分析系统研究与开发[D];中南大学;2008年
2 张腾飞;基于数据仓库的信用信息系统的分析与设计[D];武汉理工大学;2009年
3 李晔锋;数据仓库的存储研究[D];东华大学;2009年
4 朱焱;数据仓库在航空发动机试验中的应用[D];电子科技大学;2008年
5 宋蓉芳;基于分布式数据仓库的网格化负荷预测研究[D];华北电力大学(河北);2008年
6 赵闯;构建数字化校园数据仓库的方案研究[D];东北师范大学;2009年
7 陆琦;点击流数据仓库在智能导学系统中的应用研究[D];东北师范大学;2009年
8 高轶;保险业数据仓库系统的设计及实现[D];北京邮电大学;2009年
9 陆体山;数据仓库在民航客运营销领域中的应用[D];上海交通大学;2008年
10 潘晓辉;人寿保险数据仓库的设计与实现[D];哈尔滨工程大学;2008年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026