收藏本站
《北京邮电大学》 2007年
收藏 | 手机打开
二维码
手机客户端打开本文

电信统计分析平台ETL工具的设计与实现

庄园  
【摘要】: 增值电信服务已经成为电信运营商的重要收入来源。在当前一切以用户需求为驱动的市场环境下,分析用户需求,把握用户特点是开发新业务的重点,电信统计分析平台应此需求而生。 彩铃统计平台(CSP,Colorful Ringback Tone Statistic Platform)是独立于彩铃业务的统计平台。它采集彩铃业务的运行数据,对用户特征进行深度挖掘,为运营商提供运营策略依据。 业务分析平台(SAP,Service Analysis Platform)采集智能网(IN,Intelligent Network)业务运行数据,对业务运行状况进行全面的分析和评价,为智能网运维人员提供自动化辅助工具。 SAP和CSP都是典型的电信统计分析平台,其核心是格式多样,数量巨大的数据。为了将这些数据集成到统计分析系统中,需要专用的工具来完成这一任务,这就是ETL(Data Extract,Data Transform,Data Load,数据抽取,数据转换,数据加载)工具。ETL工具从不同环境和应用中抽取数据,对数据进行清洗和转化,形成清洁和统一的数据,最终加载到目标数据库中。在此基础上,上层业务才能进行有效的统计分析工作。 电信统计分析平台对于ETL过程具有若干特殊要求——数据类型繁多、数据量巨大、需要控制采集端的性能、ETL应该对频繁变化的元数据进行自适应、应当具备采集实时数据的能力。这些特性在CSP和SAP系统中有突出表现。为了满足这些特殊需求,需要进行深入的需求分析,才能给出相应的解决思路。 在需求分析和系统的设计实现过程中,可以积累大量实践经验,进而总结出电信统计分析平台ETL工具的若干特点,及其设计指导原则。将这些经验和设计原则总结起来,就形成了一个适用于电信统计分析平台ETL工具的通用框架。这个框架结构灵活,效率理想。不但可以满足已有需求,同时也具有良好的扩展性,可以与电信统计分析平台一起演进,形成新一代ETL工具。 本文围绕电信统计分析平台ETL工具的设计展开论述:首先描述了CSP和SAP这两个应用了ETL技术的系统,然后对相关背景知识——数据仓库和联机分析处理(OLAP,Online Analysis Process),进行了简单介绍。第二章分析了ETL建设过程中需要应对的关键需求,并针对各个需求提出了相应解决思路。在此基础上,总结出了电信统计分析平台ETL工具的若干特点,指出了电信统计分析平台通用ETL框架应当具备的基本特征。第三章,根据第二章的结论,设计并实现了电信统计分析平台通用ETL框架:首先简要介绍了ETL框架的各个组成模块,说明了各模块之间的关系;然后对每个模块的设计实现进行了详细的描述。电信统计分析平台通用ETL框架,是本文的核心创新点。最后一章,分析了电信统计分析平台的发展方向,以及通用ETL框架在电信统计分析平台中的应用前景。
【学位授予单位】:北京邮电大学
【学位级别】:硕士
【学位授予年份】:2007
【分类号】:TP311.52

手机知网App
【引证文献】
中国硕士学位论文全文数据库 前7条
1 徐东;基于XML技术的异构数据集成系统研究[D];西安电子科技大学;2009年
2 肖娟;广西移动智能网维护优化[D];北京邮电大学;2010年
3 王续宗;彩铃统计分析平台数据采集与预处理子系统的设计与实现[D];北京邮电大学;2008年
4 钱春升;面向移动通信网络优化的数据仓库性能优化技术研究[D];河北工业大学;2008年
5 赵小盼;基于Web Services和ODS的软件全面质量管理体系研究[D];成都理工大学;2010年
6 殷春祥;通话监控平台行为分析子系统的设计与实现[D];北京邮电大学;2010年
7 杨胜利;ETL在期货CRM数据中心中的应用研究[D];浙江工业大学;2012年
【参考文献】
中国期刊全文数据库 前6条
1 胡逢彬;沈炜;;数据ETL过程中的数据质量控制[J];信息技术;2006年04期
2 张旭峰;孙未未;汪卫;冯雅慧;施伯乐;;增量ETL过程自动化产生方法的研究[J];计算机研究与发展;2006年06期
3 张宁,贾自艳,史忠植;数据仓库中ETL技术的研究[J];计算机工程与应用;2002年24期
4 周宏广,周继承,彭银桥,龙思锐;数据ETL工具通用框架设计[J];计算机应用;2003年12期
5 章水鑫,徐宏炳,于立;增量式ETL工具的研究与实现[J];现代计算机(专业版);2005年03期
6 王木林;基于SQL优化提高数据仓库的ETL效率的方案[J];中国科技信息;2005年18期
【共引文献】
中国期刊全文数据库 前10条
1 吕德亮;王晏民;张健钦;吴海燕;;面向宏观交通规划的移动对象模型及应用研究[J];北京建筑工程学院学报;2011年02期
2 郑洪源;周良;;基于CWM的标准ETL的设计与实现[J];吉林大学学报(信息科学版);2006年01期
3 周江川;彭川;;应急系统中不确定性异构数据的交换与集成[J];重庆理工大学学报(自然科学版);2010年08期
4 李哲琦;张莹;;基于XML的Web半结构化信息抽取[J];长春理工大学学报(自然科学版);2007年01期
5 杨炜鸿;孙震宇;冯利;;通用数据标准制定方法的研究[J];长春理工大学学报(自然科学版);2007年03期
6 王育红;;面向更新信息提取与集成的空间实体匹配方法[J];测绘科学;2011年01期
7 王育红;陈军;;GIS客户数据库更新的基本问题[J];地理信息世界;2008年01期
8 吴纲;;一种轻量级ETL的设计与应用[J];长江大学学报(自然科学版)理工卷;2008年04期
9 周宏广,周继承,刘长生;基于策略模式的缺损数据处理方法[J];长沙航空职业技术学院学报;2004年02期
10 邓新莉;张四平;刘珊;周江川;;基于中间件平台的异构数据交换与集成[J];四川兵工学报;2011年03期
中国重要会议论文全文数据库 前7条
1 王育红;陈军;;GIS客户数据库更新自动化实施算法研究[A];中国测绘学会第九次全国会员代表大会暨学会成立50周年纪念大会论文集[C];2009年
2 高斯;徐德华;;保险业CRM平台ETL应用研究[A];第十届中国不确定系统年会、第十四届中国青年信息与管理学者大会论文集[C];2012年
3 霍爱梅;;基于数据仓库技术的地形图智能综合系统设计[A];2009全国测绘科技信息交流会暨首届测绘博客征文颁奖论文集[C];2009年
4 许力;马瑞新;;基于快照比对的增量数据捕获研究与实现[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
5 杨崇联;谢旭升;;基于数据仓库的政府决策支持服务系统研究与实现[A];第二十三届中国数据库学术会议论文集(技术报告篇)[C];2006年
6 武纬;童云海;唐世渭;;ETL在保险现金流预测分析中的应用与研究[A];第二十四届中国数据库学术会议论文集(技术报告篇)[C];2007年
7 吕琳;朱东华;刘玉琴;;面向数据仓库的数据预处理研究综述[A];2007年中国智能自动化会议论文集[C];2007年
中国博士学位论文全文数据库 前10条
1 李桃迎;交通领域中的聚类分析方法研究[D];大连海事大学;2010年
2 刘杰;面向数据集成的数据清理关键技术研究[D];中国科学技术大学;2010年
3 廖军;公路交通信息资源整合及系统实现研究[D];长安大学;2009年
4 寇月;Deep Web实体搜索的关键技术研究[D];东北大学;2009年
5 陈细谦;空间数据仓库关键技术的研究与实现[D];大连理工大学;2005年
6 连剑波;基于XML的地质数据集成及WebGIS发布研究[D];中国科学院研究生院(广州地球化学研究所);2006年
7 贾东浇;制造企业运作过程的信息集成关键技术研究[D];浙江大学;2006年
8 韩颖;新型农村合作医疗数据挖掘研究[D];山西医科大学;2009年
9 王琦峰;面向服务的车间制造系统运行模式及支持技术研究[D];重庆大学;2009年
10 宋杰;面向多类型数据源的数据仓库构建及ETL关键技术的研究[D];东北大学;2008年
中国硕士学位论文全文数据库 前10条
1 梁大圣;空间数据仓库的设计与构建[D];山东农业大学;2010年
2 曾祥莉;ETL在经济普查信息发布系统中的应用研究[D];哈尔滨工程大学;2010年
3 葛迪;ETL技术在交通信息资源整合工程中的应用研究[D];哈尔滨工程大学;2010年
4 张蕾;天津港煤炭货运管理系统的设计与实现[D];大连海事大学;2010年
5 纪雅楠;数据挖掘技术在高校成人教育学生成绩分析中的应用研究[D];中国海洋大学;2010年
6 王静;基于关联规则的利润加权数据挖掘算法研究及在商业智能中的应用[D];中国海洋大学;2010年
7 崔山;网络会议平台数据分析系统的设计与实现[D];苏州大学;2010年
8 王英翔;天津港数据集成处理平台的设计与实现[D];大连海事大学;2010年
9 李强;审计系统中ETL的设计与实现[D];广西民族大学;2010年
10 田隆;基于财务数据中心的商业智能平台设计与实现[D];北京信息控制研究所;2010年
【同被引文献】
中国期刊全文数据库 前10条
1 陈永清;陈春花;黄嘉涛;;论六西格玛文化及其构建[J];商业研究;2006年23期
2 徐维华;;智能网上实现一卡多号业务设计与实现[J];电信工程技术与标准化;2009年12期
3 卢纪宇;白波;;GSM无线网络的优化[J];电信技术;2006年12期
4 段云峰;中国移动经营分析系统的建设及应用[J];电信科学;2005年01期
5 王君珂,鲁卫东;电信行业的经营分析系统研究[J];电信科学;2005年07期
6 叶德谦,张晶明,巩玉玺;基于并行分布处理的OLAP系统设计与实现[J];辽宁工程技术大学学报;2003年06期
7 韩冀中,韩承德;高性能计算技术的发展现状及趋势[J];中国工程科学;2000年01期
8 刘智琼;;中国电信ODS系统部署模式研究[J];广东通信技术;2007年09期
9 李茗;;电信集中计费系统的设计[J];河北省科学院学报;2007年04期
10 李琪白,英彩;数据仓库中维的建模和查询[J];计算机研究与发展;2002年05期
中国重要会议论文全文数据库 前1条
1 战松涛;陈孟斌;王进;;移动网络综合优化系统设计与实现[A];2006通信理论与技术新进展——第十一届全国青年通信学术会议论文集[C];2006年
中国重要报纸全文数据库 前1条
1 思齐;[N];计算机世界;2004年
中国博士学位论文全文数据库 前10条
1 李瑞轩;异构信息集成中的查询处理与优化研究[D];华中科技大学;2004年
2 汤景凡;动态Web服务组合的关键技术研究[D];浙江大学;2005年
3 刘刚;数据挖掘技术与分类算法研究[D];中国人民解放军信息工程大学;2004年
4 于守健;基于Web服务组合的业务流程集成关键技术研究[D];东华大学;2005年
5 路晓丽;Web应用软件的测试技术研究[D];西北大学;2006年
6 王晓庆;面向智能网演进的异构网络中间件体系研究[D];北京邮电大学;2006年
7 冯名正;Web服务组合关键技术研究[D];东南大学;2006年
8 杨文军;Web服务组装关键技术研究[D];清华大学;2005年
9 张抗抗;基于语义Web Services的企业异构系统应用集成研究与实现[D];山东大学;2006年
10 温嘉佳;Web服务组合及其相关技术的研究[D];北京邮电大学;2007年
中国硕士学位论文全文数据库 前10条
1 刘胜;基于增量ETL的分布式数据交换平台的研究与实现[D];国防科学技术大学;2011年
2 谭昕;数据仓库性能优化研究[D];安徽大学;2003年
3 王文娟;基于UDDI的Web服务信息发布系统[D];西北工业大学;2003年
4 傅磊;质量管理体系软件生成器的设计与实现[D];西北工业大学;2004年
5 李睿;数据仓库查询优化研究[D];中南大学;2004年
6 尹买华;WEB服务在企业应用集成中的应用研究[D];对外经济贸易大学;2005年
7 乔溪;基于XML的数据集成系统的研究与应用[D];北京化工大学;2005年
8 罗洪;基于Web服务的电子商务研究与应用[D];四川大学;2005年
9 彭纯军;我国中小软件企业基于CMM/CMMI的软件过程管理研究[D];暨南大学;2005年
10 董威;基于CMM的软件测试技术及其应用[D];华东师范大学;2006年
【二级参考文献】
中国期刊全文数据库 前9条
1 宋宝燕,王国仁,于戈,郑怀远;模式集成代数[J];东北大学学报;1999年01期
2 陈传波,唐九飞;信息系统中的数据质量[J];湖北工学院学报;1998年03期
3 张宁,贾自艳,史忠植;数据仓库中ETL技术的研究[J];计算机工程与应用;2002年24期
4 朱焱;浅论数据抽取、净化和转换工具[J];计算机应用;2000年04期
5 周宏广,周继承,彭银桥,龙思锐;数据ETL工具通用框架设计[J];计算机应用;2003年12期
6 郭志懋,周傲英;数据质量和数据清洗研究综述[J];软件学报;2002年11期
7 郭永生,陈祎祺,徐立臻;基于共享数据库的多数据源集成[J];微机发展;2004年02期
8 谢小山,陈有青;企业数据仓库工具的研究与实现[J];现代计算机(专业版);2003年08期
9 徐立臻,谢鸿强,董逸生;数据仓库系统中源数据的提取与集成[J];小型微型计算机系统;2003年05期
【相似文献】
中国期刊全文数据库 前10条
1 金明;;企业数据仓库的ETL技术[J];电力信息化;2010年09期
2 程春霞,阮锋;基于数据仓库的移动通讯企业决策系统的实现方案[J];机电工程技术;2004年08期
3 吴钊;数据仓库在电信业中的应用研究[J];襄樊学院学报;2004年05期
4 马征;数据仓库技术的研究与应用[J];丹东纺专学报;2004年01期
5 王艳煜;数据仓库与决策支持系统[J];武汉交通管理干部学院学报;2002年03期
6 严任远,韩明华;以数据仓库为基础的决策支持系统[J];浙江万里学院学报;2002年04期
7 彭朝海;基于数据仓库的决策支持系统[J];四川工业学院学报;2003年03期
8 霍妍,邢小英;数据仓库技术研究与分析[J];宁波广播电视大学学报;2004年03期
9 郭峰;数据仓库技术在GIS决策支持中的应用[J];华中农业大学学报;2003年01期
10 秦建,董辉,吴习宇,余建桥;花卉数据仓库的设计开发[J];农业网络信息;2004年07期
中国重要会议论文全文数据库 前10条
1 毛明志;黄春贤;;一种新的数据仓库ETL框架及其应用[A];第二十三届中国数据库学术会议论文集(技术报告篇)[C];2006年
2 张卫华;方幼林;杨冬青;唐世渭;余立波;付强;;数据仓库ETL过程支撑框架研究[A];第十九届全国数据库学术会议论文集(技术报告篇)[C];2002年
3 高素芳;张继福;张素兰;;关于数据仓库渐变维处理的研究[A];全国第16届计算机科学与技术应用(CACIS)学术会议论文集[C];2004年
4 宋亚男;刘春和;李新俊;齐俊臣;;导弹贮存可靠性数据仓库的研究与设计[A];中国电子学会可靠性分会第十三届学术年会论文选[C];2006年
5 杨崇联;谢旭升;;基于数据仓库的政府决策支持服务系统研究与实现[A];第二十三届中国数据库学术会议论文集(技术报告篇)[C];2006年
6 唐蕾;张剡;柏文阳;徐洁磐;;数据仓库工具集NGDW-1的设计与实现[A];第十九届全国数据库学术会议论文集(研究报告篇)[C];2002年
7 廖燕玲;卢语丹;阮艳萍;高丽金;;高校教学决策支持系统的数据仓库研究[A];Proceedings of 2010 National Vocational Education of Communications and Information Technology Conference (2010 NVCIC)[C];2010年
8 王珍英;杨小健;;基于数据仓库和OLAP技术实现HSE信息系统安全检查分析[A];2008全国第十三届自动化应用技术学术交流会论文集[C];2008年
9 王凯;蔺永政;石冰;;基于数据仓库的房地产投资决策支持模型[A];第六届全国计算机应用联合学术会议论文集[C];2002年
10 宗胜旺;张晖;;通用ETL的研究与实现[A];全国第十届企业信息化与工业工程学术年会论文集[C];2006年
中国重要报纸全文数据库 前10条
1 中国科学院软件研究所 乔晓强 魏峻;商务智能:给企业一双慧眼[N];计算机世界;2006年
2 本报记者 谭啸;Teradata:数据仓库走向社会化[N];计算机世界;2010年
3 段云峰 杨凤年 宋俊德;数据仓库必不可少[N];计算机世界;2002年
4 ;“快钱”的速度[N];网络世界;2005年
5 ;IBM DB2商业智能软件[N];中国计算机报;2007年
6 刘庆;颗粒归“仓”,刀枪入“库”[N];网络世界;2006年
7 本报记者 赵晓涛;中国人保试点数据仓库[N];网络世界;2004年
8 本报记者 潘永花;实时企业的决策引擎[N];网络世界;2005年
9 邹大斌;关注商业智能的性能[N];计算机世界;2007年
10 ;数据仓库向外部用户开放[N];网络世界;2007年
中国博士学位论文全文数据库 前10条
1 李泽海;数据仓库中多维数据处理与查询相关技术的研究[D];吉林大学;2005年
2 宋杰;面向多类型数据源的数据仓库构建及ETL关键技术的研究[D];东北大学;2008年
3 孟京辉;经营单位级森林经营数据仓库研建及应用研究[D];中国林业科学研究院;2011年
4 马刚;采用数据仓库技术实现贷款管理DSS[D];大连理工大学;2000年
5 张旭峰;ETL若干关键技术研究[D];复旦大学;2006年
6 朱传华;三峡库区地质灾害数据仓库与数据挖掘应用研究[D];中国地质大学;2010年
7 罗书强;网络化制造模式下质量决策支持系统的研究[D];重庆大学;2003年
8 李秋丹;数据挖掘相关算法的研究与平台实现[D];大连理工大学;2004年
9 于海鸿;多维数据环境中决策支持相关技术研究及应用[D];吉林大学;2007年
10 李文海;基于粗集的关系型联机分析优化技术研究[D];华中科技大学;2007年
中国硕士学位论文全文数据库 前10条
1 廖春丽;数据仓库、数据挖掘技术在保险业中的应用与研究[D];河北工业大学;2003年
2 成新华;基于医药经销管理系统的数据仓库的设计研究[D];成都理工大学;2003年
3 卞向娟;面向制造业ERP的数据仓库支持决策的研究[D];昆明理工大学;2004年
4 胡欣;多邦药业数据仓库的建立与OLAP[D];东北师范大学;2005年
5 胡宇光;网上银行交易数据仓库系统设计与实现[D];新疆大学;2006年
6 曹洪岩;高校财务数据仓库系统的研究和应用[D];大连海事大学;2004年
7 张艳;维度建模在电信数据仓库中的应用[D];西安电子科技大学;2010年
8 蒋昙飞;面向社区服务的数据仓库关键技术研究与实现[D];西安电子科技大学;2009年
9 文宇;点击流数据仓库在电子商务中的应用研究[D];电子科技大学;2009年
10 刘龙青;基于数据仓库的TQS系统[D];华侨大学;2005年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026