收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

商业银行大数据分析平台的设计与实现

步腾跃  
【摘要】:商业银行实际上就是一家大数据公司,未来的一个转型方向是成为数据驱动而非资金驱动的公司。银行的数据属于高度保密的敏感信息,如果利用得当,可以成为银行的一个金矿。在整个企业范围内将数据信息作为资产进行管理和利用,促进企业的创新和转型,我们才能提高银行的竞争优势。商业银行应当如何采集数据、利用数据、自助分析数据、构建独特的竞争优势,开启迈向未来智慧金融的进化之门?这是本课题研究的意义及目的。首先,针对上述背景和问题,本文研究了大数据技术的原理。结合生产需求设计并搭建了基于Hadoop和Spark的大数据分析平台,具备通用性、稳定性,包含了离线批处理、实时流处理等功能。然后,设计并实现了离线计算模块。这部分中首先研究了关系型数据库的数据最佳采集方案;在数据清洗过程中,重点研究了Hive中如何实现数据去重的方法;通过Python实现了HiveQL查询数据仓库的表,然后与Mysql及OLAP结合对外提供数据分析服务的功能,另外还提出了OLAP数据模型优化思路。接下来,设计并实现了实时计算模块。主要研究的是服务器实时日志流进行转换、采集、计算等流程如何实现,重点设计了Flume+Kafka+Spark Streaming的架构以及无丢失获取Kafka数据的方法。此外还详细研究了Spark Streaming中generateJobs实时处理的方法。最后,研究设计了基于ECharts的数据可视化模块,并通过结合JavaScript、Ajax、PHP等技术来具体实现。经过测试,系统的功能和性能符合设计需求。目前,该系统已经在实际生产中开展应用,并取得了不错的效果。


知网文化
【相似文献】
中国期刊全文数据库 前19条
1 徐莹;于耳;;构建高校大数据分析平台的探索——以上海公安高等专科学校为例[J];中国教育信息化;2017年05期
2 夏杨;王芳;;基于一卡通数据的校园大数据分析平台的构建与应用[J];华中师范大学学报(自然科学版);2017年S1期
3 陈甜甜;;国外知名大数据分析平台概览(上)[J];中国安防;2017年06期
4 陈甜甜;;国外知名大数据分析平台概览(下)[J];中国安防;2017年07期
5 田磊;;大数据分析平台建设与应用探析[J];科技经济导刊;2017年25期
6 成静静;喻朝新;;基于云计算的大数据统一分析平台研究与设计[J];广东通信技术;2013年01期
7 潘果;;论物流统计数据分析平台的构建[J];今日南国(理论创新版);2008年07期
8 陈青艳;陈开慧;;强负荷网络环境下的大型负载分析平台的设计与优化[J];现代电子技术;2017年02期
9 张昊;;企业级安全大数据分析平台[J];电信技术;2017年09期
10 徐艳艳;赵春;马晨辉;沈富可;;学习分析平台告诉你:学生如何参与网上课程[J];中国教育网络;2016年08期
11 张庆芳;张静;许新丰;;高职信号与系统课程分析平台的应用[J];中国西部科技;2010年27期
12 张秋雁;宋强;;基于用电大数据的经济分析平台设计研究[J];电力大数据;2017年08期
13 江顾健;;关于港口集团财务大数据分析平台的创新性探索[J];财会学习;2018年11期
14 王强;李俊杰;陈小军;黄哲学;陈国良;;大数据分析平台建设与应用综述[J];集成技术;2016年02期
15 李静;;探究数据分析平台在企业管理中的作用[J];计算机光盘软件与应用;2015年01期
16 张朝阳;藏才让;王晓妍;;基于大数据理念构建金融分析平台[J];西部金融;2015年09期
17 刘鹏;宁文辉;周卫;;智能化时间频率测试分析平台的实现与应用[J];广西电力;2012年02期
18 ;力科为USB2.0和3.0分析平台Voyager增加强大的分析能力[J];电子测量技术;2009年08期
19 王立河;陈伟;谷国栋;;“智慧吉首”大数据分析平台功能设计[J];智能建筑与智慧城市;2019年02期
中国重要会议论文全文数据库 前10条
1 陈林;程登发;田喆;孙京瑞;;有害生物潜在分布预测分析平台研发[A];植物保护与现代农业——中国植物保护学会2007年学术年会论文集[C];2007年
2 杜长河;郝敬武;;以安全生产为导向打造电厂生产运行实时监测与优化分析平台[A];第二届热电联产节能降耗新技术研讨会论文集[C];2013年
3 黄涛;张国新;刘毅;贺光明;赵丽娜;;重力坝设计与分析平台系统开发[A];北京力学会第20届学术年会论文集[C];2014年
4 刘俊;王普;吴艳华;代明睿;史天运;;智能铁路大数据分析平台研究[A];第十一届中国智能交通年会大会论文集[C];2016年
5 田鹤;赵海;赵佳丽;蔡巍;刘铮;;基于复杂网络的大规模软件分析平台的设计与实现[A];第八届沈阳科学学术年会论文集[C];2011年
6 何礼富;王鹏;;煤矿综合决策分析平台的功能设计及关键技术探讨[A];第九届全国采矿学术会议暨矿山技术设备展示会论文集[C];2012年
7 陈家烨;何政;;基于自主开发分析平台的结构信息传递[A];第25届全国结构工程学术会议论文集(第Ⅲ册)[C];2016年
8 叶天琦;;大数据自助分析平台的研发与应用[A];2019年第二届钢铁工业智能制造发展论坛会议论文集[C];2019年
9 梁益华;杨永;朱朝;白文;;CFD可信度分析平台WiseCFD[A];计算流体力学研究进展——第十二届全国计算流体力学会议论文集[C];2004年
10 谢国威;蔡九菊;杜涛;胡雄光;张延平;;钢铁企业能源消耗及辅助分析平台的研究[A];第七届(2009)中国钢铁年会论文集(下)[C];2009年
中国博士学位论文全文数据库 前4条
1 霍韬光;代谢组学分析平台用于Ⅱ型糖尿病发病和治疗机制研究[D];沈阳药科大学;2010年
2 赵文亮;乙型肝炎病毒基因突变检测与分析平台研发[D];第四军医大学;2014年
3 潘建波;基于连续转录组的模式基因的发现及其在组织功能研究中的应用[D];厦门大学;2014年
4 于娟;拟南芥JAZ7基因参与黑暗诱导叶片衰老的分子机制研究以及玉米转录组学数据整合分析平台的初步构建[D];中国农业大学;2014年
中国硕士学位论文全文数据库 前10条
1 张宏伟;SMT大数据分析平台的设计与实现[D];西安电子科技大学;2019年
2 周俊毅;风机集群大数据分析平台设计与实现[D];西安电子科技大学;2019年
3 陈亮;面向主题数据的审计分析平台设计与实现[D];南京邮电大学;2019年
4 步腾跃;商业银行大数据分析平台的设计与实现[D];南京邮电大学;2018年
5 靳继伟;基于互联网医疗大数据的分析平台设计与开发[D];浙江工业大学;2019年
6 徐帆;人力资源和社会保障大数据智能分析平台的设计与实现[D];浙江工业大学;2019年
7 赵志;教育大数据统计分析平台设计与研究[D];西安理工大学;2019年
8 史智宾;动物病毒组学数据分析平台的建立及应用[D];中国农业科学院;2019年
9 郑立章;吹扫式仿生嗅觉检测分析平台的设计及试验研究[D];中南林业科技大学;2018年
10 毛文瑞;电网公司安全生产数据分析平台规划研究[D];华北电力大学;2018年
中国重要报纸全文数据库 前10条
1 记者 蔡志军;“大数据+”分析平台助力北海精准扶贫[N];北海日报;2018年
2 黄秋月;用活数据分析平台 社会治理跑出“加速度”[N];贵阳日报;2018年
3 本报记者 霍娜;五种能力 敏捷分析 打造感知型企业[N];中国信息化周报;2016年
4 本报记者 邱燕娜;技术 产品 服务 一个都不能少[N];中国计算机报;2016年
5 本报记者 郭涛;曙光“方舟”破解大数据三大难题[N];中国计算机报;2017年
6 本报记者 郭涛;提供完整的大数据体验[N];中国计算机报;2016年
7 王娜;一切用数据“说话”[N];陕西日报;2017年
8 大海 国生;建平率先开发推进移动精准扶贫系统建设[N];朝阳日报;2017年
9 本报通讯员 蔡德仁;“大数据+”分析平台监督精准扶贫[N];广西法治日报;2017年
10 本报记者 许继楠;解读IBM InfoSphere大数据分析平台[N];中国计算机报;2012年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978