收藏本站
《哈尔滨工程大学》 2010年
收藏 | 手机打开
二维码
手机客户端打开本文

ETL在经济普查信息发布系统中的应用研究

曾祥莉  
【摘要】: ETL即数据抽取、转换、装载,是构建数据仓库的一个非常重要的环节。可以这样认为:ETL就是整个数据仓库系统乃至整个决策支持系统的基石。如何设计全面高效的ETL过程是数据仓库项目设计者必须考虑的重要问题。 本文对经济普查信息发布系统中所采用的一些关键的ETL技术进行了研究分析,包括针对异构数据源的数据抽取技术,个性化数据的转换技术以及更新追加技术等。首先,对数据源进行了分析,针对系统数据来源的异构性,即结构化数据源DBMS类型和非结构化文件类型,提出了一种并行数据抽取接口设计方案,并根据经济普查的实际情况,确定采取全量抽取和增量抽取相结合的抽取方式。其次,为满足信息发布的要求,提供给用户以各种灵活组合方式进行的查询,数据需要进行特定的格式转换,本文提出在数据源和数据仓库之间增加一个中间层ODS(操作型数据存储),研究了在ODS中的转换策略。第三,提出采用变通的时间戳方式进行更新追加的装载策略,这种方式不会占用过多的系统资源,不会影响现有系统表的结构,也不需要增加新的开发。 本文提出的ETL策略已在黑龙江省经济普查信息发布系统中实现,并通过实际应用证明了策略的有效性。
【学位授予单位】:

知网文化
【相似文献】
中国期刊全文数据库 前20条
1 刘洋;毕红军;路静;;ETL系统的研究与实现[J];内蒙古科技与经济;2008年20期
2 毕锟;刘军;;ETL系统的设计及其研究[J];软件导刊;2010年05期
3 张宁,贾自艳,史忠植;数据仓库中ETL技术的研究[J];计算机工程与应用;2002年24期
4 吴莹莹;;浅议企业数据仓库的实现模式[J];电脑知识与技术;2010年08期
5 金明;;企业数据仓库的ETL技术[J];电力信息化;2010年09期
6 宋杰;王大玲;鲍玉斌;于戈;;一种元数据驱动的ETL方法的研究[J];小型微型计算机系统;2007年12期
7 高小飞;冯杰;;一种决策树算法在数据仓库ETL中的应用与研究[J];计算机与现代化;2009年04期
8 王亮;葛玮;;ETL过程的思考[J];计算机技术与发展;2008年10期
9 肖国荣;;银行信用评估系统数据质量分析方法研究[J];福建电脑;2006年08期
10 李志辉;;ETL实施的数据质量问题研究[J];电脑知识与技术(学术交流);2006年26期
11 梁美红;张男楠;李建;伍东;胡永泉;杨静;;一种钻井数据仓库ETL系统的设计[J];计算机技术与发展;2010年03期
12 戚冬;;数据挖掘技术在上海市民信箱数据分析上的应用[J];科技广场;2009年01期
13 金杰;王作君;薛锡艳;;数据仓库的基本理论及中药色谱指纹图谱数据仓库的构建[J];广东药学院学报;2007年05期
14 周四维;曾记;李跃新;;基于COW模式下的ETL应用研究[J];武汉科技学院学报;2009年02期
15 王秋楠;周连喆;;基于数据仓库的一种通用ETL工具的设计与实现[J];电脑知识与技术;2008年26期
16 陈躬燕;陈伟贤;;ETL在金融信贷风险数据仓库中的应用[J];中国科技信息;2009年10期
17 谢欢;胡建农;张雨骅;;广电运营商服务营销分析系统建设的研究[J];广播电视信息;2009年11期
18 谢欢;胡建农;张雨骅;;广电运营商服务营销分析系统建设的研究[J];有线电视技术;2010年01期
19 林中;;ETL在福建省房地产市场数据仓库建设中的应用[J];福州大学学报(自然科学版);2011年02期
20 谢小山,陈有青;企业数据仓库工具的研究与实现[J];现代计算机;2003年08期
中国重要会议论文全文数据库 前10条
1 毛明志;黄春贤;;一种新的数据仓库ETL框架及其应用[A];第二十三届中国数据库学术会议论文集(技术报告篇)[C];2006年
2 张卫华;方幼林;杨冬青;唐世渭;余立波;付强;;数据仓库ETL过程支撑框架研究[A];第十九届全国数据库学术会议论文集(技术报告篇)[C];2002年
3 宗胜旺;张晖;;通用ETL的研究与实现[A];全国第十届企业信息化与工业工程学术年会论文集[C];2006年
4 严哲南;楼荣生;;窗口算法问题的解决方案[A];第十六届全国数据库学术会议论文集[C];1999年
5 杨崇联;谢旭升;;基于数据仓库的政府决策支持服务系统研究与实现[A];第二十三届中国数据库学术会议论文集(技术报告篇)[C];2006年
6 刘刚;付忠广;申鹏飞;郑玲;靳涛;;基于发电厂机组数据仓库的数据挖掘系统的研究[A];2004电站自动化信息化学术技术交流会议论文集[C];2004年
7 姚卿达;屈定春;;联邦数据库互操作方法在数据仓库中的应用[A];数据库研究进展97——第十四届全国数据库学术会议论文集(下)[C];1997年
8 黄艳玲;张旗;陈春晓;;气象多媒体综合信息发布系统建设探讨[A];2011年中国气象学会气象通信与信息技术委员会暨国家气象信息中心科技年会论文摘要[C];2011年
9 唐蕾;张剡;柏文阳;徐洁磐;;数据仓库工具集NGDW-1的设计与实现[A];第十九届全国数据库学术会议论文集(研究报告篇)[C];2002年
10 廖燕玲;卢语丹;阮艳萍;高丽金;;高校教学决策支持系统的数据仓库研究[A];Proceedings of 2010 National Vocational Education of Communications and Information Technology Conference (2010 NVCIC)[C];2010年
中国重要报纸全文数据库 前10条
1 韩际平 马士龙 张来成;创新的足迹[N];中国信息报;2006年
2 段广云 沈振宇;高速公路信息发布系统诱导有方[N];中国交通报;2003年
3 罗永立;实现内容的轻松管理[N];计算机世界;2003年
4 祝达;共建灾害预警信息发布系统[N];中国气象报;2007年
5 马旭清通讯员 任桂林;牵头建设预警发布系统[N];中国气象报;2008年
6 记者 谭允 通讯员 杨绮薇;广东率先出台《突发事件预警信息发布管理办法(试行)》[N];广东科技报;2008年
7 通讯员 张瑞宏;北京局信息化建设再传捷报[N];中国国门时报;2004年
8 罗文辉;上海石油交易所推商品信息发布系统[N];第一财经日报;2007年
9 陈涛;东楚网开通免费信息平台[N];黄石日报;2007年
10 陆洲;积极推动邮政金融信息化建设[N];中国邮政报;2002年
中国博士学位论文全文数据库 前10条
1 宋杰;面向多类型数据源的数据仓库构建及ETL关键技术的研究[D];东北大学;2008年
2 李泽海;数据仓库中多维数据处理与查询相关技术的研究[D];吉林大学;2005年
3 张旭峰;ETL若干关键技术研究[D];复旦大学;2006年
4 孟京辉;经营单位级森林经营数据仓库研建及应用研究[D];中国林业科学研究院;2011年
5 朱传华;三峡库区地质灾害数据仓库与数据挖掘应用研究[D];中国地质大学;2010年
6 陈燕;数据仓库的设计与实现[D];大连理工大学;2000年
7 克里木;自适应数据仓库系统的研究与实现[D];大连理工大学;2003年
8 陈金玉;数据仓库实体化视图联机—致性维护研究[D];重庆大学;2002年
9 许威;支持数据仓库国际化的ETL技术中若干关键问题研究和实践[D];厦门大学;2007年
10 杨志清;服务于安全运营管理的高速公路网信息系统[D];同济大学;2008年
中国硕士学位论文全文数据库 前10条
1 曾祥莉;ETL在经济普查信息发布系统中的应用研究[D];哈尔滨工程大学;2010年
2 罗淦坤;基于CMMB网络的紧急广播信息发布系统的设计和实现[D];安徽农业大学;2010年
3 刘龙青;基于数据仓库的TQS系统[D];华侨大学;2005年
4 毕大伟;基于无线网络的LED信息发布系统的设计与实现[D];吉林大学;2011年
5 卢琳;电信企业经营分析系统建设[D];山东大学;2005年
6 吴小军;基于SSH2框架的校园网招聘信息发布系统的构建[D];复旦大学;2010年
7 商红蕾;海洋环境监测信息发布系统及安全机制的研究与开发[D];中国石油大学;2010年
8 廉博;数据仓库中ETL技术的研究与实现[D];沈阳工业大学;2006年
9 胡宇光;网上银行交易数据仓库系统设计与实现[D];新疆大学;2006年
10 韩鹏;ETL工具的设计实现与应用[D];吉林大学;2006年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978