基于大数据集群的监控系统的研究与设计

【摘要】：随着互联网与移动设备的快速发展,人们日常生活与工作产生的数据越来越多。公司企业在为人们提供服务的时候,也积累了大量的用户数据。为了能够更好地帮助人们决策,满足人们的生活与工作需求,对大量数据进行采集、分析、处理已经成为许多公司企业的必然选项。对于广告行业更是如此,广告行业的需求决定了它需要分析和处理大量的数据。为了对大数据进行分析和处理,公司企业需要搭建大数据集群。而Hadoop作为一款开源的分布式数据处理框架,已经被广泛应用在大数据的处理和分析领域,也已经成为公司企业搭建大数据集群必不可少的选项。而随着需要分析和处理的数据规模的快速增长,大数据集群的机器数量也将快速增加,随之而来的问题就是集群机器出现异常甚至宕机的问题,这将给公司企业带来巨大的损失。因此,集群运行的稳定性和健壮性问题成为了公司企业不可忽视的问题。为了保障集群机器的稳定与健壮运行,开发一套对大数据集群进行监控的系统变得尤为必要。本文将结合实际的需要,在开源监控工具Zabbix的基础上进行二次开发,针对Zabbix在监控项采集、信息展示和告警通知方面的问题,设计和实现一个大数据集群监控系统,并将监控系统应用到实际应用中。具体包含的工作如下:(1)在开源监控工具Zabbix的基础上,设计并实现一个监控系统,对大数据集群的性能指标进行采集,并在Web浏览器端对各类指标进行可视化展示,对各类指标的异常情况进行告警和通知相关人员,及时发现问题,降低损失。(2)实现一个广告系统,包括广告管理模块和广告检索模块,用于产生数据以供大数据集群分析与处理。(3)将本文实现的大数据集群监控系统应用到对处理广告数据的大数据集群的监控中去。(4)对监控系统和广告系统进行功能和性能测试。