收藏本站
《西南交通大学》 2018年
收藏 | 手机打开
二维码
手机客户端打开本文

分布式离线计算平台的数据可视化系统的设计与实现

王倩倩  
【摘要】:互联网的快速发展和大数据时代的到来,使得各种集群计算框架不断涌现,统筹各种计算框架的资源分配和作业调度,并将此过程产生的数据可视化,是大型互联网公司亟待解决的问题。本文结合百度公司对分布式离线计算平台Neptune数据可视化的迫切需求,设计并实现了可扩展的PaaSWeb可视化系统。本文首先对百度Neptune平台进行了研究,结合其分布式数据的特点,采用RPC等技术获取远程数据,并根据可视化需求进行数据清洗。然后构建缓存,并定时更新。同时,构建统计数据,提取通用信息于配置文件中,增强系统易用性和可扩展性。最终实现分布式离线计算平台的作业执行数据与资源调度数据的可视化,达到为公司资源统筹分配提供辅助决策的研究目的。本文的主要工作如下:第一,介绍了本文的研究背景与研究意义,论述了本文涉及的百度专有名词、百度离线分布式计算资源在统筹调度方面面临的问题及采取的应对方案,简述了论文的研究内容与结构。第二,简述了分布式离线计算平台Neptune的系统结构、运行原理和数据分析。并基于此,分析了本文数据可视化系统PaaSWeb的需求和可行性,提出了系统架构和功能模块划分,设计了可视化展示的接口。第三,论述了 PaaSWeb系统的详细设计与实现。该工作可分为三大部分:(1)数据获取及清洗。包括制定远程Protobuf通信协议,封装客户端RPC函数,获取作业执行实时数据,封装本地接口对数据清洗;反序列化磁盘中的Meta文件,读取持久化的作业执行历史数据并清洗;构建过滤规则,动态生成数据库表名,获取Logstash库中的资源调度数据并清洗;通过调用Casio系统接口,获取其采集的资源调度数据;(2)用双缓冲队列存储数据并定时更新,解决作业执行数据产生速度频繁和并发访问的问题;(3)将获取的数据封装为Json API,然后,通过Ajax读取API中数据,利用Bootstrap和Echars框架,最终实现丰富的数据可视化展示效果。第四,搭建了系统运行环境,对运行效果进行了分析和展示。系统运行结果表明:本文的PaaSWeb系统可以直观地查看并分析分布式离线计算平台的作业执行情况和资源使用情况,证明了本文研究应用的有效性及实用性。
【学位授予单位】:西南交通大学
【学位级别】:硕士
【学位授予年份】:2018
【分类号】:TP311.52

手机知网App
【相似文献】
中国期刊全文数据库 前10条
1 龙怡天;杨志伟;;湖南中学高考数据可视化分析[J];电子技术与软件工程;2018年13期
2 周建功;;数据可视化技术在政务大数据中的应用研究[J];电脑知识与技术;2018年18期
3 刘立伟;;数据可视化在新闻传播中的连接角色[J];青年记者;2017年35期
4 郭玮;;大数据背景下统计数据可视化研究[J];内蒙古统计;2017年06期
5 申淑平;;网络安全数据可视化融合分析[J];电脑与电信;2016年12期
6 许茜;黄子杰;蔡晶;刘志臻;俞向梅;陈桂芬;陈林;葛亮;张钘铭;;基于大数据研究的医学数据可视化[J];中国卫生统计;2017年02期
7 王艺;任淑霞;;医疗大数据可视化研究综述[J];计算机科学与探索;2017年05期
8 数字冰雹;夏进;;驾驭数据 洞悉价值——数字冰雹大数据可视化系统行业应用分享[J];大数据时代;2017年02期
9 潘巧智;孟宪伟;费如纯;;数据可视化技术及其应用展望[J];电子技术与软件工程;2017年18期
10 彭戎轩;;数据可视化技术应用趋势与类型分析[J];西部资源;2015年06期
中国重要会议论文全文数据库 前10条
1 刘勘;周洞汝;;大型数据库中的数据可视化技术[A];第十八届全国数据库学术会议论文集(技术报告篇)[C];2001年
2 于晖;;数据可视化:科学与艺术的融合之美[A];科学艺术 传承创新—科学与艺术融合之路[C];2017年
3 管理论坛课题组;;精准数据的获取、挖掘与利用——基于电子地图的数据可视化分析[A];浙江省烟草学会2014年学术年会论文暨信息技术专业委员会科技成果汇编[C];2014年
4 马辰;李玮;高慧英;;数据可视化技术及其在船舶平台系统中的应用[A];中国造船工程学会电子技术学术委员会2017年装备技术发展论坛论文集[C];2017年
5 夏菁;刘真;胡越琦;陈为;彭帝超;;基于超图的骨生物数据可视化研究[A];第五届全国几何设计与计算学术会议论文集[C];2011年
6 谢跟踪;;生态环境空间数据可视化研究[A];全国地图学与GIS学术会议论文集[C];2004年
7 陈进生;罗月童;;轮廓树及其在体数据可视化中的应用[A];全国第21届计算机技术与应用学术会议(CACIS·2010)暨全国第2届安全关键技术与应用学术会议论文集[C];2010年
8 袁永菊;;数据可视化技术在飞机改装中的应用研究[A];探索 创新 交流(第4集)——第四届中国航空学会青年科技论坛文集[C];2010年
9 韩博;;平行坐标可视化技术及其在约束数据挖掘中的应用[A];2007'全国测绘科技信息交流会暨信息网成立30周年庆典论文集[C];2007年
10 韩博;;平行坐标可视化技术及其在约束数据挖掘中的应用[A];全国测绘科技信息网中南分网第二十一次学术信息交流会论文集[C];2007年
中国重要报纸全文数据库 前10条
1 本报记者 苏洁;厉害了,人工智能![N];中国保险报;2016年
2 本报记者 刘晶晶;大数据可视化[N];中国信息化周报;2017年
3 中国烟草总公司深圳市公司财务管理处 张鸿标;财务数据可视化:让不懂财会的人看懂企业运营[N];中国会计报;2017年
4 中国青年报·中青在线记者 蒋韡薇 蒋欣 傅晓羚;改变云计算的极客少年[N];中国青年报;2017年
5 南京大学教育学院 张金磊 等;大数据可视化触发教育新热点[N];中国信息化周报;2016年
6 本报记者 刘磊;数据可视化赋予企业真正的大数据认知能力[N];贵阳日报;2016年
7 永洪科技 杨萍;数据可视化能“看出”哪些价值?[N];中国计算机报;2015年
8 美国《InfoWorld》专栏作家 Andrew Lampitt 范范 编译;大数据可视化:eBay的头等大事[N];网络世界;2013年
9 国家统计局教育中心 宁红;数据可视化对服务型统计建设的启示[N];中国信息报;2013年
10 北京永洪商智科技有限公司 何春涛;一周实现大数据可视化分析[N];中国计算机报;2014年
中国博士学位论文全文数据库 前10条
1 马仁安;基于微机的三维地震数据可视化技术研究[D];南京理工大学;2004年
2 任永功;面向聚类的数据可视化方法及相关技术研究[D];东北大学;2006年
3 梁秀霞;医学影像数据可视化中若干问题研究[D];山东大学;2006年
4 王启超;面向体数据可视化的数据预处理方法研究[D];浙江大学;2017年
5 周璐;复杂向量场数据可视化技术研究与实现[D];中国人民解放军国防科学技术大学;2000年
6 常凤香;基于生物电阻抗测量原理的经络诊断数据可视化方法研究[D];燕山大学;2012年
7 华岗;地震体数据可视化与分析研究[D];浙江大学;2011年
8 雷迎科;流形学习算法及其应用研究[D];中国科学技术大学;2011年
9 刘玉华;模型驱动的网络数据的可视分析方法研究[D];华东师范大学;2017年
10 焦国华;光电测量数据可视化理论及应用技术研究[D];中国科学院研究生院(西安光学精密机械研究所);2008年
中国硕士学位论文全文数据库 前10条
1 刘怡;数据可视化在体育报道中的应用研究[D];首都体育学院;2018年
2 王智民;网络资源探测及可视化呈现系统的设计与实现[D];电子科技大学;2018年
3 王倩倩;分布式离线计算平台的数据可视化系统的设计与实现[D];西南交通大学;2018年
4 杨璇;海量旅游统计数据可视化的研究与应用[D];武汉邮电科学研究院;2018年
5 周鑫磊;MUSER实时观测与科学数据可视化研究与实现[D];昆明理工大学;2017年
6 方锐;大数据平台下动车组运维数据可视化系统的设计与实现[D];北京交通大学;2017年
7 陈旭;医疗保险基金数据可视化系统的研究与设计[D];江苏大学;2017年
8 刘伯艳;数据可视化系统框架可扩展方法的设计与实现[D];北京交通大学;2017年
9 宋宇;基于MES的质量管理系统数据可视化研究[D];东南大学;2017年
10 张璇;数据可视化在索契冬奥会报道中的应用与启示[D];上海体育学院;2017年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026