收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于大数据集群的监控系统的研究与设计

张明森  
【摘要】:随着互联网与移动设备的快速发展,人们日常生活与工作产生的数据越来越多。公司企业在为人们提供服务的时候,也积累了大量的用户数据。为了能够更好地帮助人们决策,满足人们的生活与工作需求,对大量数据进行采集、分析、处理已经成为许多公司企业的必然选项。对于广告行业更是如此,广告行业的需求决定了它需要分析和处理大量的数据。为了对大数据进行分析和处理,公司企业需要搭建大数据集群。而Hadoop作为一款开源的分布式数据处理框架,已经被广泛应用在大数据的处理和分析领域,也已经成为公司企业搭建大数据集群必不可少的选项。而随着需要分析和处理的数据规模的快速增长,大数据集群的机器数量也将快速增加,随之而来的问题就是集群机器出现异常甚至宕机的问题,这将给公司企业带来巨大的损失。因此,集群运行的稳定性和健壮性问题成为了公司企业不可忽视的问题。为了保障集群机器的稳定与健壮运行,开发一套对大数据集群进行监控的系统变得尤为必要。本文将结合实际的需要,在开源监控工具Zabbix的基础上进行二次开发,针对Zabbix在监控项采集、信息展示和告警通知方面的问题,设计和实现一个大数据集群监控系统,并将监控系统应用到实际应用中。具体包含的工作如下:(1)在开源监控工具Zabbix的基础上,设计并实现一个监控系统,对大数据集群的性能指标进行采集,并在Web浏览器端对各类指标进行可视化展示,对各类指标的异常情况进行告警和通知相关人员,及时发现问题,降低损失。(2)实现一个广告系统,包括广告管理模块和广告检索模块,用于产生数据以供大数据集群分析与处理。(3)将本文实现的大数据集群监控系统应用到对处理广告数据的大数据集群的监控中去。(4)对监控系统和广告系统进行功能和性能测试。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 樊江;郭勇;;机场大数据集离群点检测算法仿真研究[J];计算机仿真;2019年11期
2 夏泓靖;毛冬梅;;浅论电力调控大数据集成及管理技术应用[J];通讯世界;2019年04期
3 饶龙海;;基于网络大数据集的数据挖掘思考[J];江苏科技信息;2017年04期
4 余光柱;王亮;易先军;邵世煌;;高维大数据集中频繁闭合模式的挖掘[J];计算机工程;2008年17期
5 赵杉;;云平台安全监控大数据集群调度容错控制仿真[J];计算机仿真;2021年07期
6 唐思均;;基于优化SMOTE算法的非平衡大数据集分类研究[J];沈阳工程学院学报(自然科学版);2021年03期
7 郭龙;;基于网格技术的高维大数据集离群点挖掘算法[J];通讯世界;2016年21期
8 武志军;;立足北京 布局全国 北京供销大数据集团在京成立[J];中国品牌;2016年01期
9 史荧中;王士同;王骏;邓赵红;;基于最小包含球的非静态大数据集的快速分类算法[J];控制与决策;2013年07期
10 江志晃;;一种面对大数据集的改进基于支持向量机的算法性能分析[J];自动化技术与应用;2020年02期
11 朱铮雄;黄宇青;;基于Spring Batch+Gemfire+CXF的金融大数据集成和整合[J];计算机应用与软件;2020年08期
12 程玉胜;张佑生;胡学钢;;大数据集上基于串行进位链规则提取的矩阵分块算法[J];中国科学技术大学学报;2009年02期
13 肖伟;;电力调控大数据集成及管理技术分析[J];电子元器件与信息技术;2018年11期
14 孙晶涛;张秋余;;不均衡大数据集下的文本特征基因提取方法[J];电子科技大学学报;2018年01期
15 毕丹;董可男;薛鲁宁;王楠;;健康医疗大数据产业分析与前景展望[J];大数据时代;2017年04期
16 章云,徐宁;大数据集基于等价类的属性重要性定义和约简[J];仪器仪表学报;2004年S1期
17 李晓洁;丛亚丽;;健康医疗大数据公平问题研究[J];自然辩证法通讯;2021年08期
18 ;北京供销大数据集团 进军大数据产业 助力供销电商发展[J];中国合作经济;2016年09期
19 王欣;;基于聚类和距离的大数据集离群点检测算法[J];制造业自动化;2011年08期
20 刘峰;;关联规则挖掘算法在大数据集上的应用[J];淮南职业技术学院学报;2018年01期
中国重要会议论文全文数据库 前4条
1 章云;徐宁;;大数据集基于等价类的属性重要性定义和约简[A];第二届全国信息获取与处理学术会议论文集[C];2004年
2 张华飞;董黎刚;王盛;;一种基于逆序编码性质的Apriori算法改进[A];浙江省电子学会2011学术年会论文集[C];2011年
3 黄浩生;李岩;;网络空间矢量信息渐进传输的研究[A];第十五届全国遥感技术学术交流会论文摘要集[C];2005年
4 林宇;;大数据环境下的最大频繁项目集挖掘算法[A];电力行业信息化优秀论文集2013[C];2013年
中国博士学位论文全文数据库 前2条
1 王乐;数据流模式挖掘算法及应用研究[D];大连理工大学;2013年
2 史荧中;耦合的支持向量学习方法及应用研究[D];江南大学;2016年
中国硕士学位论文全文数据库 前20条
1 张明森;基于大数据集群的监控系统的研究与设计[D];广东工业大学;2020年
2 牛华忠;交通大数据集群的运维系统设计与实现[D];山东大学;2017年
3 屈鹏飞;复杂产品生命周期设计知识大数据集成和应用研究[D];浙江大学;2016年
4 周亮;基于粗糙集的大数据集挖掘算法研究与实现[D];江苏大学;2010年
5 王陈希;基于MapReduce的非平衡大数据集分类[D];河北大学;2015年
6 朱桐霖;基于流程对象大数据集知识提取的相关方法与理论的研究[D];济南大学;2017年
7 Mehran Ali;关联规则新采样技术研究[D];山东财经大学;2021年
8 王俞翔;面向大数据集的推荐系统研究[D];燕山大学;2014年
9 那超;大数据平台的自动化部署与监控系统设计与实现[D];浙江工业大学;2016年
10 刘永军;大数据集的属性选择算法的研究与实现[D];东北大学;2005年
11 王玉荣;关联规则挖掘算法在大数据集上的应用研究[D];江南大学;2011年
12 董云影;基于遗传算法的模糊聚类技术的研究[D];大连海事大学;2005年
13 李嘉锋;基于重抽样的近似计算方法[D];哈尔滨工业大学;2016年
14 庞留新;基于统计学习的大数据生成算法与应用研究[D];北方工业大学;2021年
15 黄宗超;基于聚类方法的多值函数识别算法研究[D];黑龙江大学;2020年
16 梁栋;大数据集序列模式挖掘算法研究[D];山东师范大学;2015年
17 邬超;基于大数据集的DEM数据管理与调度关键技术研究[D];哈尔滨工程大学;2011年
18 吴凯锋;大数据价值管理模型与算法研究[D];北方工业大学;2020年
19 苏剑颖;基于Grover算法的大数据集优化分块搜索及其在IBM量子云平台上的实现[D];西北大学;2020年
20 杨一品;基于大数据集的人体语义参数化建模和体型估计[D];南京大学;2015年
中国重要报纸全文数据库 前20条
1 记者 万君;气象大数据战略合作签约仪式举行[N];陕西日报;2017年
2 记者 满淑涵;探营陕西省大数据集团[N];各界导报;2019年
3 罗哑君;德阳利用大数据集中查办一批案件[N];中国工商报;2018年
4 本报记者 白京京;北京供销大数据集团:打造大数据感知城市 助力中国数谷之心建设[N];中华合作时报;2018年
5 郭涛;大数据国家队整装待发[N];中国计算机报;2017年
6 记者 李建成;“大数据小镇”探秘[N];河北日报;2017年
7 记者 刘偶;大数据串起企业融资链[N];首都建设报;2017年
8 郭丽娜 王耀军;承德德鸣大数据产业园项目推进迅速[N];承德日报;2017年
9 本报记者 白京京;北京供销大数据集团:一体化开放式的云平台闪耀亚太CDN峰会[N];中华合作时报;2017年
10 京文;北京供销大数据集团获得CDN经营许可[N];中华合作时报;2017年
11 本报记者 朱筠;农业+大数据在痛点中前行[N];人民邮电;2017年
12 记者 白京京;北京供销大数据集团助推农业信息化转型[N];中华合作时报;2016年
13 本报记者 王璐璐;首个国家级大数据集聚发展示范区落户贵州[N];贵州日报;2015年
14 记者 李少鹏;实控人让位求脱困 迅游科技易主贵阳国资[N];上海证券报;2020年
15 刘俸君;大数据集群夯实京津冀协同发展数字“底座”[N];中国工业报;2020年
16 记者 张小伟;北京供销大数据集团成立[N];首都建设报;2015年
17 本报记者 胡萌伟;筹划组建国资控股的大数据集团[N];天津日报;2021年
18 记者 陈敏灵 吴隽;发展大数据产业 福州天时地利齐备[N];福州日报;2017年
19 本报记者 晏耀斌;“小公司”大企图[N];中国经营报;2018年
20 记者 王娅莉;从“小背篓”到大数据[N];中国质量报;2015年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978