收藏本站
《南京邮电大学》 2016年
收藏 | 手机打开
二维码
手机客户端打开本文

基于Spark的云化报表系统的设计与实现

杨宁  
【摘要】:随着4G业务的发展,业务模式更新换代,其规模也迅速扩大,业务数据量成线性地增长。报表系统通过存储过程实时地处理营业员或者营业厅的当天全量数据,尤其在报表查询高峰期的情况下,会导致一段时间内数据库的处理压力倍增,从而拖累整个系统的正常运行。对于营业员来说,下班查帐时表现得更为明显。由于存在以上问题,本文才设计了云化报表系统。本文的报表系统主要完成以下几个方面的工作:本文的云化报表系统主要包含四个层面的工作,分别是数据抽取层,Spark计算层,业务逻辑层和界面层。数据抽取层的工作主要是实时增量数据的抽取,生产库使用OGG(Oracle Golden Gate)同步到镜像库过程中生成的增量数据文件,利用Kafka消息系统把增量数据发送到Spark计算层;Spark计算层的作用是实时增量数据的计算,利用Spark Streaming处理订阅的Kafka消息,处理Kafka发送的增量数据,首先把增量数据备份到HBase上,计算完成后再把数据存入Redis,Redis定时同步到HBase上,对于非实时的计算可以直接从HBase中获取数据,Spark计算后存入HBase中;业务逻辑层的作用是从Redis和HBase里面获取报表数据,给系统界面和外围接口使用;界面层的作用是查询显示报表数据、查询监控信息、查询统计信息等。最后利用实验来验证,在大量数据处理的情况下,Spark计算的优势所在,也证明了本文工作的有效性和实用性。
【学位授予单位】:南京邮电大学
【学位级别】:硕士
【学位授予年份】:2016
【分类号】:TP311.13

手机知网App
【相似文献】
中国期刊全文数据库 前10条
1 郁英霞;银行报表系统:不可或缺的“管家”[J];计算机周刊;2002年14期
2 申利民,何丽燕;柔性报表系统的设计与实现[J];微型电脑应用;2002年02期
3 章慧,金春霞,张树权;动态实用报表系统的开发及应用[J];应用科技;2002年04期
4 王庆伟;通过一个例子了解安易报表汇总步骤[J];中国会计电算化;2002年11期
5 随学庆;农电远程报表系统的开发与应用[J];农村电气化;2002年03期
6 赫枫龄,刘磊,张孝志;报表系统中的公式循环依赖问题[J];计算机工程;2004年03期
7 张春丽;郑朝方;韩冬梅;;财务报表系统与办公自动化系统的对接与实现[J];中国管理信息化(综合版);2005年05期
8 沙甲津;新增报表的实现方法[J];计算机与现代化;2005年01期
9 曲凤娟;王静;;关于金融报表系统的分析及其设计[J];华北航天工业学院学报;2006年01期
10 苏子林;;代理的环境评价模型在智能报表系统中的应用[J];烟台师范学院学报(自然科学版);2006年02期
中国重要会议论文全文数据库 前8条
1 陈达;张浩;张志生;曹敏;;工程建设指标与报表系统研究及设计[A];2010年云南电力技术论坛论文集(文摘部分)[C];2010年
2 陈捷;刘丰;刘婧;杨继锋;;基于web的报表精确打印技术研究与实现[A];2005通信理论与技术新进展——第十届全国青年通信学术会议论文集[C];2005年
3 韩璞;李超;周黎辉;董泽;;网络化工业自由报表系统的开发[A];全国第二届信号处理与应用学术会议专刊[C];2008年
4 杨春柳;王家军;滕海波;赖国雪;吴博;;承钢烧结、高炉智能报表系统在承钢的应用[A];2011年河北省冶金信息化自动化年会论文集[C];2011年
5 杨心丽;耿英三;宋小林;马志军;刘朝辉;;变电站监控软件中组态报表系统的设计与实现[A];中国电工技术学会低压电器专业委员会第十二届学术年会论文集[C];2005年
6 杜俭强;;使用Delphi+VBA开发数据库应用程序的报表系统[A];山西省科学技术情报学会学术年会论文集[C];2004年
7 杜新锋;姜在炳;;基于OLE技术的煤矿地质测量网络报表系统的研发[A];陕晋冀煤炭学会地质测量专业学术研讨会论文集[C];2006年
8 霍璐;李录兵;张晓莉;满万祥;宁莹;李峰;;站控生产运行维护及报表系统研发[A];创新·质量·低碳·可持续发展——第十届宁夏青年科学家论坛石化专题论坛论文集[C];2014年
中国重要报纸全文数据库 前10条
1 杨红宇 杨丽;内蒙部署监管报表系统推广工作[N];中国城乡金融报;2006年
2 姜丰;变革:从报表开始[N];国际商报;2005年
3 ;Crystal Reports鼠标一拖 报表搞定[N];中国计算机报;2005年
4 汪蔚;报表也能以不变应万变[N];中国计算机报;2005年
5 邵晓勇 李军;报表信息化进入“平台”时代[N];中国城乡金融报;2011年
6 陈思 刘桐;数据集中行运行分析报表系统简介[N];中国城乡金融报;2006年
7 陈静;大数据,让管理“智慧化”[N];中国航天报;2014年
8 卢慧;“表哥”“表姐”“表弟”“表妹”都解放了[N];中国邮政报;2012年
9 陈玉荣;联手远程报表系统——挑战传统经济[N];中国企业报;2000年
10 本报记者 曹红丽;上海中原:BI部署从上至下[N];中国计算机报;2008年
中国硕士学位论文全文数据库 前10条
1 邓丽萍;电信ODS平台智能报表系统的设计与实现[D];山东大学;2015年
2 伊加平;银座零售报表系统的设计与实现[D];山东大学;2014年
3 张洁;行政事业单位的财务报表系统设计与完善[D];电子科技大学;2014年
4 石炳堂;集团企业财务报表系统的设计与实现[D];电子科技大学;2014年
5 殷晓渝;乌鲁木齐市商业银行统一监管报送平台的设计与实现[D];电子科技大学;2014年
6 高燕;宝鸡高新区企业服务平台系统开发—报表报送系统的设计与实现[D];西安工业大学;2013年
7 陈梦宁;石化公司报表系统优化提升项目的实施与应用[D];山东大学;2015年
8 佟川;基于oracle-erp系统的报表模块的设计和实现[D];山东大学;2015年
9 王显凯;工业能源报表系统的设计与实现[D];辽宁科技大学;2014年
10 徐孟杰;1104报表及风险预警分析系统[D];黑龙江大学;2015年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026