收藏本站
《南京大学》 2018年
收藏 | 手机打开
二维码
手机客户端打开本文

易天数据管理系统数据集成和数据分析模块的设计与实现

刘寒啸  
【摘要】:随着企业信息化程度的提高,商务数据在企业经营和发展过程中起到的作用愈发突出,如何有效整合数据并加以利用,进而创造出更多的商业价值是所有企业共有的课题。为了解决这一问题,江苏易天集团计划研发一套企业自用的数据管理系统,系统将各部门的商务数据集成汇总,并在此基础进行统计分析和数据挖掘,为企业决策提供数据支持。本文主要论述易天数据管理系统数据集成和数据分析模块的实现。数据管理系统基于B/S模式进行开发,系统服务端采用标准的分层架构,并提供RES Tful风格的接口供前端调用。数据集成模块负责将需求方不同部门的数据集成到系统中,本文对数据读取过程进行抽象,并通过策略模式实现了对不同数据源不同格式数据的支持。数据分析模块负责对系统集成的数据进行分析,本文基于SparkSQL和MLlib实现了基于SQL的查询分析和基础的数据挖掘分析,并通过策略模式和Java反射机制实现了对用户自定义脚本的支持,允许用户创建自己的分析模板,提高了系统的可拓展性。此外本文还设计并实现了任务模块和数据集模块等基础服务模块,分别负责系统定期任务的调度和系统数据访问的控制。目前系统已交付需求方进行试验性部署,总体运作良好,可以按照设计完成数据集成和数据分析任务,达到了预期目标。
【学位授予单位】:南京大学
【学位级别】:硕士
【学位授予年份】:2018
【分类号】:TP311.52

【参考文献】
中国期刊全文数据库 前9条
1 王永和;张劲松;邓安明;周智勋;;Spring Boot研究和应用[J];信息通信;2016年10期
2 岑凯伦;于红岩;杨腾霄;;大数据下基于Spark的电商实时推荐系统的设计与实现[J];现代计算机(专业版);2016年24期
3 牛海玲;鲁慧民;刘振杰;;基于Spark的Apriori算法的改进[J];东北师大学报(自然科学版);2016年01期
4 孟建良;刘德超;;一种基于Spark和聚类分析的辨识电力系统不良数据新方法[J];电力系统保护与控制;2016年03期
5 荣艳冬;;关于Mybatis持久层框架的应用研究[J];信息安全与技术;2015年12期
6 严玉良;董一鸿;何贤芒;汪卫;;FSMBUS:一种基于Spark的大规模频繁子图挖掘算法[J];计算机研究与发展;2015年08期
7 徐雯;高建华;;基于Spring MVC及MyBatis的Web应用框架研究[J];微型电脑应用;2012年07期
8 薛峰;梁锋;徐书勋;王彪任;;基于Spring MVC框架的Web研究与应用[J];合肥工业大学学报(自然科学版);2012年03期
9 李静,宋瀚涛;创建企业级数据仓库的关键技术[J];计算机应用研究;2001年05期
中国硕士学位论文全文数据库 前7条
1 龚世伟;百度开放云财务系统通用财务子系统的设计与实现[D];南京大学;2016年
2 刘鹏;基于Spark的数据管理平台的设计与实现[D];浙江大学;2016年
3 陆晓峰;初创企业平台安全方案的设计与实现[D];东南大学;2015年
4 杨志伟;基于Spark平台推荐系统研究[D];中国科学技术大学;2015年
5 胡于响;基于Spark的推荐系统的设计与实现[D];浙江大学;2015年
6 王向兵;JavaEE多层架构Struts2+Spring3+Hibernate3+Ajax的整合[D];大连海事大学;2009年
7 梅锋;基于Spring实现J2EE企业应用开发框架的研究与应用[D];武汉理工大学;2007年
【共引文献】
中国期刊全文数据库 前10条
1 杨阳;汤光恒;;基于Spring Boot的高校部门测评系统的设计与实现[J];福建电脑;2018年08期
2 李天赐;刘开森;李胜辉;;基于SpringBoot卫生备案系统的设计与实现[J];网络安全技术与应用;2018年08期
3 李世明;卢建刚;王茜;王彬;张超;颜伟;;外网扩展电压源支路Ward等值模型及其在状态估计中的应用[J];电力系统保护与控制;2018年15期
4 龙婧;刘伟;殷胜;;基于机器学习的电网设备档案数据异常诊断研究[J];电力信息与通信技术;2018年07期
5 向露;;基于SSM的智能停车场管理系统的设计与实现[J];电子设计工程;2018年13期
6 王先清;;基于SSM架构博客平台设计与实现[J];电脑知识与技术;2018年19期
7 胡晨;;高速公路机电设备的维护管理系统研究[J];现代商贸工业;2018年20期
8 曹佳豪;刘宇;;基于多叉树和Spark的改进Apriori算法[J];信息技术;2018年06期
9 陈宇飞;陈亮雄;李兴汉;;微信企业号在水利安全生产管理中的应用研究[J];广东水利水电;2018年06期
10 倪政君;夏哲雷;;Flink的并行Apriori算法设计与实现[J];中国计量大学学报;2018年02期
中国硕士学位论文全文数据库 前10条
1 臧兆杰;基于Spark的K-medoids聚类算法的研究[D];大连大学;2018年
2 高鹏;基于大数据平台的电能质量数据分析技术研究[D];北方工业大学;2018年
3 周星宇;跨境电商在线商城订单子系统的设计与实现[D];南京大学;2018年
4 任佳妮;烤烟种植远程咨询与现场预估产量服务系统设计与实现[D];西北农林科技大学;2018年
5 李嵩;基于用户的协同过滤算法改进研究及并行化实现[D];西北农林科技大学;2018年
6 王艺霖;基于大数据技术的电信用户画像系统的实现与应用[D];北京邮电大学;2018年
7 苗泽鹏;基于HADOOP的APP用户活跃度提升的研究与实现[D];天津工业大学;2018年
8 李芳芳;基于TF-IDF改进算法和喜好度的视频用户分类[D];天津工业大学;2018年
9 刘招帅;安全高效的供应链管理系统的研究与设计[D];北京邮电大学;2018年
10 李亚飞;基于通联日志的用户行为分析系统设计与实现[D];北京邮电大学;2018年
【二级参考文献】
中国期刊全文数据库 前10条
1 曹波;韩燕波;王桂玲;;基于车牌识别大数据的伴随车辆组发现方法[J];计算机应用;2015年11期
2 王诏远;王宏杰;邢焕来;李天瑞;;基于Spark的蚁群优化算法[J];计算机应用;2015年10期
3 宋亚奇;周国亮;朱永利;李莉;王德文;;云平台下并行总体经验模态分解局部放电信号去噪方法[J];电工技术学报;2015年18期
4 严玉良;董一鸿;何贤芒;汪卫;;FSMBUS:一种基于Spark的大规模频繁子图挖掘算法[J];计算机研究与发展;2015年08期
5 高志远;姚建国;郭昆亚;曹阳;宋宁希;李强;孙芊;;智能电网对智慧城市的支撑作用研究[J];电力系统保护与控制;2015年11期
6 王建华;张国钢;耿英三;宋政湘;;智能电器最新技术研究及应用发展前景[J];电工技术学报;2015年09期
7 王丽婕;冬雷;高爽;;基于多位置NWP与主成分分析的风电功率短期预测[J];电工技术学报;2015年05期
8 朱倩雯;叶林;赵永宁;郎燕生;宋旭日;;风电场输出功率异常数据识别与重构方法研究[J];电力系统保护与控制;2015年03期
9 张素香;赵丙镇;王风雨;张东;;海量数据下的电力负荷短期预测[J];中国电机工程学报;2015年01期
10 张东霞;苗新;刘丽平;张焰;刘科研;;智能电网大数据技术发展研究[J];中国电机工程学报;2015年01期
中国硕士学位论文全文数据库 前10条
1 石路遥;广告投放数据管理平台的设计与实现[D];北京交通大学;2015年
2 梁彦;基于分布式平台Spark和YARN的数据挖掘算法的并行化研究[D];中山大学;2014年
3 邱荣财;基于Spark平台的CURE算法并行化设计与应用[D];华南理工大学;2014年
4 邓雄杰;基于Hadoop的推荐系统的设计与实现[D];华南理工大学;2013年
5 冯琳;集群计算引擎Spark中的内存优化研究与实现[D];清华大学;2013年
6 周相仲;基于PKI/PMI的电子文档权限管理[D];北方工业大学;2011年
7 龚凡;基于Spring Security的Web系统安全模块的设计与实现[D];华中科技大学;2011年
8 魏娜;基于REST架构的Web服务的研究与实现[D];北京邮电大学;2011年
9 尹东方;列式存储在知识发现系统中的应用与实现[D];吉林大学;2010年
10 程小飞;基于REST架构的Web Services的研究与设计[D];武汉理工大学;2010年
【相似文献】
中国期刊全文数据库 前10条
1 谢子秋;唐锦辉;李刚;夏海朋;周宇;孙熹;柳燕杰;蒋海泥;;医疗质量管理系统全数据集成[J];中国数字医学;2017年05期
2 华镕;;数据集成:二、数据集成101[J];中国仪器仪表;2016年10期
3 吴钰峰;;云计算数据集成与服务系统的构建[J];数码世界;2016年12期
4 韩蕊;;大数据呼唤数据集成新思维[J];互联网周刊;2013年22期
5 褚鸿君;;数据联邦促进企业数据集成[J];软件世界;2008年01期
6 周冰;;调查显示:数据集成获中国企业认同[J];信息化纵横;2008年08期
7 董峰;李晋宏;;企业数据集成综述[J];中国金属通报;2008年42期
8 陈默;;Sybase推出新款软件[J];计算机与网络;1998年06期
9 王拓,王伟;CIMS的数据集成[J];计算机研究与发展;1994年01期
10 鲁玉峰;李丹;王硕;;基于信息资源管理的制造企业数据集成规划的研究[J];智能制造;2016年10期
中国重要会议论文全文数据库 前10条
1 路辉;;基于数据集成与共享构建系统[A];物联网与电力新技术——2014年云南电力技术论坛论文集[C];2014年
2 许国艳;王志坚;;基于主动服务的领域数据集成研究[A];2008年全国开放式分布与并行计算机学术会议论文集(上册)[C];2008年
3 李宗华;肖道纲;彭明军;;数字武汉空间基础数据集成建库及应用[A];坚持科学发展观 推进自主创新 促进国家创新型城市建设——武汉市第二届学术年会论文集[C];2006年
4 乔慧捷;赵海军;纪力强;;生物多样性数据集成模式初探[A];第五届全国生物多样性保护与持续利用研讨会论文摘要集[C];2002年
5 李宗华;彭明军;;规划国土资源管理空间数据集成应用与运行机制探讨[A];2004城市规划年会论文集(下)[C];2004年
6 曾惠兰;曾松峰;廖斌;;柔性数据集成助推坚强智能电网[A];2009电力行业信息化年会论文集[C];2009年
7 叶群峰;;基于SOA的企业数据集成交换的研究与实践[A];中国烟草学会2014年学术年会入选论文摘要汇编[C];2014年
8 蔡彪;廖闻剑;彭艳兵;;Deep Web数据集成和关键技术综述[A];2009年研究生学术交流会通信与信息技术论文集[C];2009年
9 刘跃军;艾鸿;刘国华;;数据集成中的XML查询重写[A];2005年全国理论计算机科学学术年会论文集[C];2005年
10 陆新建;王建新;田双昌;;新一代流程工业生产实时数据集成方案[A];2009中国过程系统工程年会暨中国mes年会论文集[C];2009年
中国重要报纸全文数据库 前10条
1 Ronald van Loon;大数据的未来掌控于数据集成[N];中国信息化周报;2017年
2 佚名;现代数据集成很重要[N];中国信息化周报;2017年
3 本报记者 王若曦;数据集成分析 能源互补协调[N];中国电力报;2017年
4 浙江义乌市局(分公司) 陈兵来;数据集成让决策更科学[N];东方烟草报;2014年
5 吕梁市煤炭设计研究院 张萍;浅析数据集成环境下煤炭企业管理信息系统的构建[N];吕梁日报;2012年
6 陈友梅;数据集成 永中Office之本[N];中国计算机报;2002年
7 本报记者 于翔;数据集成开启云征程[N];网络世界;2010年
8 于翔;集成即服务:面向云的数据集成[N];网络世界;2009年
9 通讯员 张一龙 本报记者 祁文运;标准线牵引标准化建设[N];国家电网报;2008年
10 ;SaaS需要数据集成[N];网络世界;2007年
中国博士学位论文全文数据库 前10条
1 陈义;面向数据集成的数据复制和查询优化[D];中国科学院研究生院(软件研究所);2004年
2 曹顺良;生物学数据集成若干关键问题研究[D];复旦大学;2005年
3 孟永胜;装备制造业产品制造数据集成管理研究与应用[D];大连理工大学;2006年
4 王学军;基于GIS的石油勘探开发数据集成管理技术研究[D];中国地质大学(北京);2017年
5 鄂新华;面向服务的数据集成若干关键技术研究[D];北京邮电大学;2015年
6 姜朔;数据空间中数据集成若干关键问题研究[D];东华大学;2014年
7 董永权;Deep Web数据集成关键问题研究[D];山东大学;2010年
8 李雁妮;深网数据集成与挖掘关键问题的建模及算法研究[D];西安电子科技大学;2013年
9 郑阶财;非结构化数据的相关问题研究[D];山东大学;2017年
10 李冠宇;基于智能体和本体的语义数据集成研究[D];大连理工大学;2010年
中国硕士学位论文全文数据库 前10条
1 李磊;基于ETL的数据集成及交换系统的实现与优化[D];北方工业大学;2018年
2 张福麟;面向异构大数据集成的实体识别技术研究[D];北京邮电大学;2018年
3 刘寒啸;易天数据管理系统数据集成和数据分析模块的设计与实现[D];南京大学;2018年
4 李磊;人员数据集成管理平台的设计与实现[D];北京交通大学;2017年
5 郭绍永;基于协同工作的分布式数据集成的研究与实现[D];武汉理工大学;2009年
6 吕岳东;基于本体的科学数据集成与共享方法研究[D];太原科技大学;2010年
7 周幼静;临床数据集成浏览终端的设计与实现[D];浙江大学;2006年
8 程颖;区域异构医疗数据集成与交换技术的研究与实现[D];河北科技大学;2017年
9 冯尚攀;异构知识仓库数据集成关键技术的研究与实现[D];北京邮电大学;2016年
10 姬广龙;基于税务云平台的数据集成流程的设计与实现[D];山东大学;2017年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026