收藏本站
《中国科学院大学(中国科学院工程管理与信息技术学院)》 2017年
收藏 | 手机打开
二维码
手机客户端打开本文

基于Hadoop的个人综合积分数据处理系统设计与应用

霍远军  
【摘要】:近几年,个人客户综合积分兑换功能在各大商业银行悄然兴起。相比信用卡积分,开展个人客户综合积分服务的银行客户可以享受到范围更广、品种更多的服务,使客户享受到更多实惠。为加快某银行个人金融业务营销步伐,引导和鼓励客户使用某银行金融产品和金融服务,需要建设个人客户综合积分系统。然而商业银行综合积分系统需要考虑海量数据处理的压力、未来业务的发展和管理的变化,新业务开展的灵活性和快速性,积分采集和积分应用分布于不同渠道等问题。传统IT技术在当前银行业务快速发展的状况下难以解决海量数据的存储和处理、系统的可扩展性和系统建设成本高的问题。结合商业银行个人综合积分管理的需求,我们首先对业务和技术分别进行了分析调研,考虑未来积分业务的发展和管理的变化、系统的可扩展性和数据处理系统的压力,系统的构建将借助于分布式数据库、关系型数据库和分布式计算相结合的技术手段。本文基于对个人综合积分需求深入分析和相关技术深入研究的基础上完成了个人综合积分数据处理系统设计,按照系统需要完成的功能将系统划分了对应的系统模块,设计了与其他相关系统的通信或接口,构建了系统的平台组件,以期达到较高的处理效率。论文重点研究了个人综合积分系统海量数据的存储和处理,也考虑到联机交易的需求,因此利用HBa se分布式数据库、HDFS分布式文件系统和Pos tgreSQL关系型数据库设计构建了个人综合积分数据处理系统的存储模型。对于海量数据的处理是利用MapReduce分布式计算框架进行计算,对于需要处理的和处理完成的数据与关系型数据库PostgreSQL数据库进行同步。基于个人综合积分数据处理系统的详细设计,本文探讨了系统的设计与实现,针对系统的设计和实现过程中的关键性技术、问题及解决方案也做了深入的讨论,实现了具有可扩展性、高效率的个人综合积分数据处理系统。在本篇论文最后,对本次课题的研究工作进行了全面的总结、并给出了系统测试和运行的相关情况,也对系统未来的可能扩展、待优化的功能和运行维护提出了相关建议。
【学位授予单位】:中国科学院大学(中国科学院工程管理与信息技术学院)
【学位级别】:硕士
【学位授予年份】:2017
【分类号】:TP311.13

【参考文献】
中国期刊全文数据库 前10条
1 景晗;郑建生;陈鲤文;许朝威;;基于MapReduce和HBase的海量网络数据处理[J];科学技术与工程;2015年34期
2 李敏;倪少权;邱小平;黄强;;物联网环境下基于上下文的Hadoop大数据处理系统模型[J];计算机应用;2015年05期
3 王涛;;我国商业银行客户综合积分管理思考[J];中国信用卡;2015年05期
4 王正也;李书芳;;一种基于Hive日志分析的大数据存储优化方法[J];软件;2014年11期
5 董新华;李瑞轩;周湾湾;王聪;薛正元;廖东杰;;Hadoop系统性能优化与功能增强综述[J];计算机研究与发展;2013年S2期
6 胡雄伟;张宝林;李抵飞;;大数据研究与应用综述(下)[J];标准科学;2013年11期
7 George Coulouri;Jean Dollimore;Tim Kindberg;Gordon Blair;;分布式系统概念与设计[J];计算机教育;2013年10期
8 孟小峰;慈祥;;大数据管理:概念、技术与挑战[J];计算机研究与发展;2013年01期
9 侯佳佳;乔运华;卜建国;王海丹;;基于分布式数据库数据处理的研究[J];制造业自动化;2013年01期
10 李国杰;程学旗;;大数据研究:未来科技及经济社会发展的重大战略领域——大数据的研究现状与科学思考[J];中国科学院院刊;2012年06期
中国硕士学位论文全文数据库 前6条
1 朱明;基于Hadoop2.0的海量数据处理[D];辽宁科技大学;2015年
2 张同建;齐鲁银行综合积分系统的设计与实现[D];山东大学;2014年
3 谭玉靖;基于ZooKeeper的分布式处理框架的研究与实现[D];北京邮电大学;2014年
4 黄崴;通用积分账户系统的设计与实现[D];复旦大学;2013年
5 刘彤;基于Hadoop的数据分析系统设计和实现[D];北京邮电大学;2012年
6 张秀;某商业银行客户积分管理系统设计[D];吉林大学;2010年
【共引文献】
中国期刊全文数据库 前10条
1 董芹;;大数据影响下基于SWOT分析的档案管理研究[J];现代商贸工业;2017年36期
2 陈新蕾;贾岩涛;王元卓;靳小龙;程学旗;;开放知识库构建技术的多维量化评价方法[J];计算机科学;2017年12期
3 徐佳炳;童孟军;;面向制造型企业ERP系统的大数据分析与研究[J];计算机时代;2017年12期
4 赵雪松;谢蓓敏;;智能电网大数据技术发展研究[J];电子世界;2017年23期
5 王筠;周明;;电改环境下基于大数据平台的输配电价分析研究与应用[J];科技与创新;2017年23期
6 雷勇;;普通高校大数据专业实验课程开设模式初探[J];考试周刊;2017年97期
7 戴明禹;;大数据时代企业管理中信息安全研究的现状与展望[J];情报科学;2017年12期
8 杜光辉;郑艳娟;;物联网环境下金融大数据动态安全存储系统设计[J];现代电子技术;2017年23期
9 江雨燕;桂伟;;基于受限玻尔兹曼机的分布式主题特征提取[J];计算机工程与应用;2017年23期
10 张成考;;大数据背景下物流企业面临的挑战与对策[J];淮海工学院学报(人文社会科学版);2017年11期
中国硕士学位论文全文数据库 前10条
1 霍远军;基于Hadoop的个人综合积分数据处理系统设计与应用[D];中国科学院大学(中国科学院工程管理与信息技术学院);2017年
2 王红军;承德旅游信息管理与数据分析系统的设计与实现[D];河北科技大学;2016年
3 鲁萌;合肥科行个性化服务系统的设计与实现[D];大连理工大学;2016年
4 王建军;基于Hadoop的钻井工程实时数据分析研究[D];西安石油大学;2016年
5 王晓婷;同仁堂健康集团IT服务平台事件处理系统的设计与实现[D];哈尔滨工业大学;2016年
6 马庆祥;Storm集群的高可用性关键技术研究[D];西安邮电大学;2016年
7 胡雪婧;基于ZooKeeper的分布式系统的消息发送机制的设计与实现[D];吉林大学;2016年
8 罗树兰;基于Hadoop数据处理研究及应用[D];云南大学;2016年
9 司雅楠;基于MapReduce的高校大数据分析挖掘[D];河南师范大学;2016年
10 杨鹏;分布式消息中间件的设计与实现[D];华中科技大学;2016年
【二级参考文献】
中国期刊全文数据库 前10条
1 郑坤;付艳丽;;基于HBase和GeoTools的矢量空间数据存储模型研究[J];计算机应用与软件;2015年03期
2 苏韦;李景文;刘华尧;张海英;欧阳云;;基于MapReduce的时空数据模型设计方法[J];测绘与空间地理信息;2013年07期
3 付松龄;廖湘科;黄辰林;王蕾;李姗姗;;FlatLFS:一种面向海量小文件处理优化的轻量级文件系统[J];国防科技大学学报;2013年02期
4 傅杰;都志辉;;一种周期性MapReduce作业的负载均衡策略[J];计算机科学;2013年03期
5 秦军;邓谦;张建平;;HDFS的多安全级数据销毁机制设计[J];计算机技术与发展;2013年03期
6 王晓军;孙惠;;基于MapReduce的多路连接优化方法研究[J];计算机技术与发展;2013年06期
7 陈钢;;创新驱动 服务发展 推动标准化为全面建成小康社会作出新贡献——在全国标准化工作会议上的工作报告(摘要)[J];中国标准化;2013年03期
8 陶永才;石磊;;异构资源环境下的MapReduce性能优化[J];小型微型计算机系统;2013年02期
9 张友根;吴玲达;邓维;宋汉辰;;融合时空上下文的手绘笔画图文分类[J];电子与信息学报;2013年01期
10 许丞;刘洪;谭良;;Hadoop云平台的一种新的任务调度和监控机制[J];计算机科学;2013年01期
中国硕士学位论文全文数据库 前8条
1 贾文娟;基于hive分布式计算与数据挖掘的关联性营销的设计与实现[D];北京交通大学;2011年
2 张洪娜;云计算平台中数据存储与文件管理的研究[D];广东工业大学;2011年
3 范波;基于MapReduce的结构化查询机制的设计与实现[D];电子科技大学;2011年
4 张晓强;MapReduce在Web日志挖掘中的应用[D];电子科技大学;2011年
5 姜文;基于Hadoop平台的数据分析和应用[D];北京邮电大学;2011年
6 张文峰;基于MapReduce模型的分布式计算平台的原理与设计[D];华中科技大学;2010年
7 姚成浪;基于MPI的集群计算系统设计与实现[D];哈尔滨工程大学;2007年
8 任文娟;基于Struts和Hibernate框架的网络办公系统的设计与实现[D];山东大学;2006年
【相似文献】
中国期刊全文数据库 前10条
1 李木国;数据处理系统中的滤波通道[J];大连工学院学报;1981年04期
2 杨则正;生产数据处理系统的可供选择方案[J];管理科学文摘;1996年11期
3 任仓钰;尹和平;;测绘数据处理系统介绍[J];工程地质计算机应用;2000年02期
4 张建文,汤军社,李险峰;炉温均匀性测试数据处理系统的设计与实现[J];机械与电子;2004年09期
5 夏小群;陈国定;王建磊;徐凯;;基于商业软件连接的数据处理系统研究[J];机械设计与制造;2005年12期
6 陈金刚;舒攀;;高校网上录取数据处理系统的设计与实现[J];广西工学院学报;2007年02期
7 李春;何洪林;刘敏;苏文;伏玉玲;张雷明;温学发;于贵瑞;;ChinaFLUX CO_2通量数据处理系统与应用[J];地球信息科学;2008年05期
8 马辉;;招生数据处理系统的设计与实现[J];安徽电子信息职业技术学院学报;2009年04期
9 潘龙翔;;航空数据处理系统现状综述[J];火控技术;1985年01期
10 刘育刚;;机关事务数据处理系统的设计与实现[J];哈尔滨船舶工程学院学报;1986年S1期
中国重要会议论文全文数据库 前10条
1 牟其铎;张雁如;陈强;刘淳;黄俊秋;;地震报告数据处理系统[A];1991年中国地球物理学会第七届学术年会论文集[C];1991年
2 朱新河;严新平;萧汉梁;;计算机辅助油液监测数据处理系统[A];第二届全国青年摩擦学学术会议论文专辑[C];1993年
3 郭丰宇;;数据处理系统的测试与安全性问题[A];第三次全国计算机安全技术交流会论文集[C];1988年
4 张增珧;俞君;岳健;杨晓萍;;低成本高性能的NMR数据处理系统的开发研究[A];第七届全国波谱学学术会议论文摘要集[C];1992年
5 刘云生;代一尘;邓华锋;;流数据处理系统自适应机制研究[A];第二十三届中国数据库学术会议论文集(技术报告篇)[C];2006年
6 安艳辉;谢飞;付洪波;;基于CAD平台的城市部件普查数据处理系统研究[A];地理信息与物联网论坛暨江苏省测绘学会2010年学术年会论文集[C];2010年
7 彭宇;邹向荣;杨悦;;招生数据处理系统的研究与实现[A];中国高等教育学会教育信息化分会第十次学术年会论文集[C];2010年
8 左炜;王殊;刘富明;;分布式光纤传感器中的数据处理系统[A];四川省通信学会2005年学术年会论文集[C];2005年
9 程东;严志军;朱新河;王宏志;;船舶机械油液检测数据处理系统分析及设计[A];中国航海学会船舶机电专业委员会2000年度学术报告会论文集[C];2000年
10 甄刚;史光平;;天津VTS新开发的船舶数据处理系统(SDPS)[A];中国航海学会航标专业委员会第七届大会论文集[C];2003年
中国重要报纸全文数据库 前5条
1 周谷风;德国海量数据处理系统创低能耗纪录[N];中国高新技术产业导报;2010年
2 邝宁华;普查系统用过不再扔掉[N];中国计算机报;2006年
3 黄勇 杨晓萍;大型桥梁有了健康档案[N];中华建筑报;2002年
4 见习记者 童超;自主可控 国产厂商特色化服务受青睐[N];政府采购信息报;2014年
5 魏杰;录井数据处理系统软件通过专家评审[N];中国石油报;2004年
中国硕士学位论文全文数据库 前10条
1 安云凤;基于云计算的髙铁数据处理系统的设计与实现[D];西南交通大学;2015年
2 郭永刚;海洋环境监测数据处理系统的设计与实现[D];哈尔滨工业大学;2015年
3 柳春;视频会议客户端数据处理系统设计与实现[D];中国科学院研究生院(沈阳计算技术研究所);2015年
4 沈海石;雅科公司振动测试与数据处理系统设计与实现[D];大连理工大学;2015年
5 刘宝军;基于虚拟仪器的被动水声跟踪数据处理系统[D];电子科技大学;2015年
6 邱奕炜;桂林市自动气象站数据处理系统的设计与实现[D];电子科技大学;2015年
7 丁铁凡;基于云计算的医疗数据处理系统的关键技术研究[D];华北理工大学;2015年
8 周圣添;商业银行审计信息数据处理系统的设计与实现[D];山东大学;2015年
9 暴春;基于IDL语言的海表温度船测数据处理系统设计与实现[D];中国海洋大学;2015年
10 程辙;基于任务的海量保险数据处理系统设计与实现[D];南京大学;2016年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026