收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

分布式大数据服务开放平台的设计与实现

林贻民  
【摘要】:随着现代系统框架的愈加庞大,大数据已经由前期的技术驱动转换为现在的数据驱动,数据资产变现已经成为主要诉求,如何最大限度地发挥大数据的价值的时效性和场景化要求日益提高,以便灵活和快速地适配各类应用场景。但是由于一个大数据平台内部往往需要处理不同类型和规模的数据,要求基于大数据平台开发的应用系统必须具备连接不同类型和架构的数据库的能力,即多数据库的连接和处理逻辑由应用程序自身负责。由应用程序自身负责多数据源的连接和处理逻辑会存在以下问题:1)开发人员需要分别对大数据平台下的多种不同架构的数据库进行管理,了解其底层具体细节和功能特性,独立维护多数据源各自的数据连接及访问接口,无法实现对多数据源的统一管理;2)海量的数据分散存储在大数据平台中,开发人员不仅需要了解底层各个数据库的具体细节,功能特性,还需要了解数据的存储位置才能获得自己需要的数据产品,构建自己的个性化服务;3)大数据平台下多种不同架构的数据源维护着各自的权限管理信息,开发人员需要了解这些信息,申请相关权限才能对数据进行查询分析,而数据拥有者对于这些权限申请需要进行反复确认,以免敏感数据发生泄漏。本论文基于以上问题,构建了一个标准化的大数据服务能力开放平台,将分散储存在各个底层数据源的数据对外开放,能够灵活和快速地适配各类应用场景,主要研究内容包括以下三个部分:1)基于多数据源的动态服务开放子系统,实现了对大数据平台下的多种不同架构的数据库进行统一的管理,隐藏其底层具体细节和功能特性,使其对外表现为单一的数据库,并对外提供统一的ANSI SQL数据访问接口;2)基于API网关的服务管理子系统,实现了对数据服务的全生命周期管理,构建一个标准化的服务能力开放平台,统一数据服务入口,实现大数据产品开放;3)统一用户权限管理子系统,实现了基于角色的统一权限管理。本论文设计并最终实现了一个分布式大数据服务开放平台,该平台将大数据平台下多种数据源抽象成一个提供统一数据访问接口的数据源,并基于统一数据访问接口(ANSI SQL)构建标准化的服务开放平台,将数据作为服务对外开放,极大降低了基于大数据平台的应用程序处理多数据源的额外开发成本,同时提高了数据使用的效率。


知网文化
【相似文献】
中国期刊全文数据库 前16条
1 王江海;武林仙;吴扬扬;;基于刻面的数据空间数据源管理子系统[J];华侨大学学报(自然科学版);2012年05期
2 刘瑾;张仲;;乡村大数据源类型研究[J];当代农村财经;2020年02期
3 林琳;;大数据在智慧城市中的应用[J];计算机与网络;2019年23期
4 吴东燕;;省广股份:大数据源优势明显[J];股市动态分析;2016年02期
5 王宏宇;;数据时代的大数据数据源垄断法律规范[J];网络空间安全;2019年12期
6 黄恒君;陶然;傅德印;;单位名录库更新:互联网大数据源及其数据质量评估[J];统计研究;2017年01期
7 邓松;万常选;刘喜平;廖国琼;;基于用户反馈的深网数据源选择[J];小型微型计算机系统;2012年11期
8 胡志明;王仲奇;吴建军;;基于本体的单一产品数据源组织研究[J];中国制造业信息化;2011年01期
9 蔡璇;田忠和;;多数据源查询的几种优化方法[J];计算机与数字工程;2006年07期
10 张岳新,姜艳,林田,姜继春;基于C/S的FMS异构多数据源集成方法[J];南京理工大学学报(自然科学版);2002年06期
11 万春,刘丽莉;数据源的自动生成[J];计算机时代;2001年09期
12 潘雪军;用Registerdatabase创建可访问ODBC的数据源[J];电脑学习;2000年05期
13 卜梓琴;叶建位;庞戈;陆海琛;;数据源总线化布局解决方案[J];化工自动化及仪表;2015年03期
14 孙宏旭;邢薇;马立和;;动态多数据源的研究与实现[J];电脑学习;2010年03期
15 王颖;;分布式空间数据源的联合查询[J];计算机工程与设计;2007年04期
16 白石磊;毛雪岷;熊范纶;;基于假设检验的多数据源知识发现研究[J];模式识别与人工智能;2005年05期
中国重要会议论文全文数据库 前20条
1 孙昌风和;贾成军;朱夏平;;数字造船新模式的技术实现及实施[A];2019年数字化造船学术交流会议论文集[C];2019年
2 张春海;刘群;李华;;基于概率统计及查询质量的数据源选择策略[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
3 陶然;;基于互联网数据源的名录库更新维护问题研究[A];第十届海峡两岸统计与概率研讨会摘要集[C];2016年
4 黄维篁;李国良;冯建华;;高效的数据源选择方式[A];NDBC2010第27届中国数据库学术会议论文集A辑二[C];2010年
5 简灿良;史少远;;智慧城市时空大数据云服务设计与实现[A];第二十二届华东六省一市测绘学会学术交流会论文集(一)[C];2021年
6 胡小彭;马霖;陈春晖;;黄山市时空大数据平台建设[A];第二十二届华东六省一市测绘学会学术交流会论文集(一)[C];2021年
7 张宝花;金钟;任海生;王静波;李象远;;燃烧数据平台设计与实现[A];中国化学会第三届全国燃烧化学学术会议摘要集[C];2019年
8 刘鑫;李生祯;纪辰;黄丹妮;李斌;;移动室分RRU智慧节电系统探讨[A];2020年中国通信能源会议论文集[C];2020年
9 梁达;;智能交通管控大数据平台设计开发与应用[A];第十五届中国智能交通年会科技论文集(2)[C];2020年
10 上海克而瑞信息技术有限公司;;物业管理行业数据平台建设初探[A];2020年中国物业管理协会课题研究成果[C];2020年
11 李长杰;林杰;万里;;公路管养大数据平台关键技术研究[A];中国公路学会养护与管理分会第十届学术年会论文集[C];2020年
12 常英贤;许明;王震;禚俊杰;王浩;;浅谈智能电网大数据平台建设的逻辑[A];全国第四届“智能电网”会议论文集[C];2019年
13 吴明媛;;关于卷包数采数据应用模式的思考[A];上海市烟草学会2019年度优秀论文集[C];2019年
14 董树永;;互联网时代的中医客观化数据平台[A];第三届中国中医药民族医药信息大会论文集[C];2016年
15 于淼;任传斌;李珂;韩德志;朱霞;冯增文;;城市轨道交通勘测大数据平台及其在正向BIM规划设计中的应用[A];智慧城市与轨道交通2020[C];2020年
16 江琳;张志强;潘跃;贾成强;刘相坤;;铁路客票智能运维关键技术的研究[A];第十五届中国智能交通年会科技论文集(1)[C];2020年
17 杨云峰;简毅滨;范艳艳;李健;;陕西电信大数据平台国产化应用与实践[A];陕西省通信学会2016年学术年会论文集[C];2016年
18 李明;;多系统共享大数据平台的研究与设计[A];2014全国无线及移动通信学术大会论文集[C];2014年
19 徐清超;;在线监测的现状及统一数据平台的搭建[A];2009年全国输变电设备状态检修技术交流研讨会论文集[C];2009年
20 李书钦;史运涛;马时来;李琳;;面向智慧决策的高校大数据平台的设计与实现[A];中国计算机用户协会网络应用分会2018年第二十二届网络新技术与应用年会论文集[C];2018年
中国博士学位论文全文数据库 前10条
1 邓松;非合作结构化深网数据源选择技术研究[D];江西财经大学;2013年
2 孙单勋;基于计算流体力学与优化数据源的风场重建研究[D];华北电力大学(北京);2020年
3 贺金鑫;安全组通信中数据源认证问题的研究[D];吉林大学;2008年
4 林耀进;多源环境中数据预处理与模式挖掘的研究[D];合肥工业大学;2014年
5 胡芳槐;基于多种数据源的中文知识图谱构建方法研究[D];华东理工大学;2015年
6 邢军;领域本体构造中数据源选取及构造方法的研究[D];大连理工大学;2008年
7 赵润娣;美国开放政府数据政策研究[D];兰州大学;2016年
8 孔超;基于异构开放数据源的实体匹配[D];华东师范大学;2017年
9 杨莎;多源环境下实体一致性建模与真值发现[D];武汉大学;2017年
10 闫中敏;Deep Web数据获取问题研究[D];山东大学;2010年
中国硕士学位论文全文数据库 前20条
1 林贻民;分布式大数据服务开放平台的设计与实现[D];北京邮电大学;2020年
2 黄汉仲;LTE-A空口监测分析仪:数据源仿真平台的研究与开发[D];重庆邮电大学;2019年
3 王笑涵;Deep Web数据资源智能挖掘系统[D];华北电力大学(北京);2019年
4 陶昱正;基于Spark SQL的数据源连接器的设计与实现[D];上海交通大学;2018年
5 惠靖雅;用于不一致检测的数据源选择算法的研究[D];黑龙江大学;2019年
6 王琳;面向传感云的数据源质量研究[D];哈尔滨工业大学;2018年
7 王铮;统一多数据源报告在线生成系统的设计和实现[D];大连理工大学;2019年
8 林雨;分布式计算节点的可信性评估模型[D];北京工业大学;2019年
9 孙甘露;基于多数据源的技术传递系统主体研究[D];北京理工大学;2016年
10 李育坤;中国移动数据共享系统的设计与实现[D];南京大学;2019年
11 吴英凯;基于Web的主题相关数据源识别技术研究[D];天津理工大学;2019年
12 吕云霄;基于多数据源以及业务流程分析的数据监控平台的设计与实现[D];北京邮电大学;2019年
13 徐立洋;多源文本主题发现算法研究[D];贵州大学;2019年
14 霍立亚;面向多数据源综合查询系统的设计与实现[D];中国石油大学(北京);2017年
15 叶楠;一种卫星使用的模拟数据源的研制[D];电子科技大学;2018年
16 耿宜鹏;基于主题的数据源发现与分类技术研究[D];江苏大学;2020年
17 李鹏;基于用户模型的智能数据源选择研究[D];南华大学;2007年
18 刘昱昊;融合多数据源构建基因调控网络[D];吉林大学;2010年
19 卢宾;基于语义的混搭系统[D];浙江大学;2010年
20 解恒臻;用于缺失值填充的数据源选择技术的研究[D];黑龙江大学;2020年
中国重要报纸全文数据库 前20条
1 通讯员 王锡洪;浙江分行:拓宽数据源 批量建“档案”[N];中国城乡金融报;2019年
2 本报记者 关金宝;提升数据源质量 促进经济高质量发展[N];中国审计报;2018年
3 本报记者 李春莲;大数据行业成资本市场新宠 数据源或成大数据公司核心竞争力[N];证券日报;2016年
4 刘小如;协助用户获取不同数据源中的数据[N];中国计算机报;2005年
5 记者 童芬芬;亿利生态大数据平台正式上线[N];中华工商时报;2017年
6 记者 王冬梅;企业构建大数据平台助力生态文明建设[N];工人日报;2018年
7 田耿文;构建大数据平台,提升农村金融服务[N];农村金融时报;2018年
8 铜仁日报融媒体记者 王安宏;全力做大做强大数据平台经济推动经济社会高质量发展[N];铜仁日报;2020年
9 记者 刘丽霞;我市全面启动建设智慧林草生态大数据平台项目[N];呼和浩特日报(汉);2020年
10 记者 魏彧 于春沣;加快推进城市生活服务大数据平台建设[N];天津日报;2020年
11 记者 蔡文瑶;市民生监督大数据平台方便百姓[N];平顶山日报;2020年
12 记者 罗诚浩 通讯员 李森榕 肖铭浩;我市5G+农业大数据平台亮相[N];梅州日报;2020年
13 杨静;“一码贵州·校农结合”大数据平台助力脱贫攻坚[N];贵州日报;2020年
14 记者 孟盈如;丁香园开放医疗数据平台 覆盖药、病、诊、科研等七大应用场景[N];经济参考报;2021年
15 通讯员 郭治斌 田永昭;镇原 大数据平台建设助力扶贫“精准滴灌”[N];陇东报;2015年
16 通讯员 赵昆京;建立现代物流大数据平台[N];云南政协报;2021年
17 季哲;民权大数据平台助推巡察提质增效[N];商丘日报;2021年
18 李静;我市要建大数据平台[N];太原日报;2020年
19 记者 邓静 通讯员 徐建娥 宋玲玲;德州一体化大数据平台获奖[N];德州日报;2020年
20 铜仁市政协办;全力推进大数据平台经济取得新成效[N];贵州政协报;2020年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978