收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

云环境下面向智能运维的KPI异常检测研究

许友昌  
【摘要】:云环境下系统架构与应用服务日益庞大,用户群体复杂多样,为保障云环境下各系统与业务的可靠稳定,对大规模数据的监控与异常检测变得尤为重要。在对关键性监控数据(KPI Key Performance Indicator)进行异常检测时,传统的异常检测方法在云环境中面临着监控数据实例数量多维度高以及KPI数据特征不断变化的挑战。云环境下大量高维度的KPI数据,若直接进行异常检测,会给异常检测系统在异常场景选择与异常检测分析上带来巨大的开销。云环境下用户操作习惯的复杂性使得给定的KPI数据特征可能会在几种类型之间变化,传统的异常检测模型调节方法使得运维人员消耗了巨大的人力成本。为了解决云环境下大规模且数据特征不断变化的KPI数据异常检测问题,本文基于聚类算法与强化学习技术构建了智能化的KPI数据异常检测模型。(1)首先,为了解决监控数据规模庞大带来的数据分析开销大问题,通过对不同数据实例之间的相关性进行分析,利用主成分分析法选出主要成分的数据实例来表示整体数据包含的信息,由此减少重复信息的数量,并利用模糊聚类对选出的数据实例进行分类,使得数据分析工作可以针对特定的、数据量更小的分类数据进行,同时使得异常检测算法可以自适应异常检测场景,减少了场景选择的开销。(2)为了应对云环境下数据特征的变化,本文利用差分技术与统计学指标来判断监控数据全局波动趋势与局部波动趋势之间的关系,识别当前监控数据的数据特征,从而判断数据特征是否发生变化。针对数据特征变化的异常检测模型,本文基于强化学习技术,将异常检测模型的人工调节过程转化为自动的马尔科夫决策过程,并通过设定动态奖励函数优化了强化学习方法的最佳策略求取过程,减少了参数调节的迭代过程,实现了面对数据特征变化时异常检测模型的自动化调节。


知网文化
【相似文献】
中国期刊全文数据库 前17条
1 贾蓓;李敬华;肖飞;;基于复杂电磁环境的信号检测模型构建分析[J];信息技术与信息化;2015年09期
2 蔡静;;考虑检测影响的贮存-检测模型及其参数估计[J];湖北民族学院学报(自然科学版);2012年02期
3 董斯维;郭斌;余力;;个性化推荐攻击检测模型研究[J];农业网络信息;2006年12期
4 任涵;李勇;吕天雯;;基于自适应遗传算法的猕猴桃组培检测模型[J];计算机与应用化学;2016年12期
5 李一男;刘永平;王汝琳;;一种矿用红外瓦斯传感器的检测模型[J];工矿自动化;2010年01期
6 吴锡松;李金柱;;基于决策树和随机森林的国际长途欺诈检测模型[J];通信技术;2018年12期
7 张强;;一种利用特征选择改进的行人检测模型[J];微型机与应用;2016年02期
8 杨浩;谢昕;李卓群;章玲玲;;网络中隐蔽信道数据安全检测模型研究与仿真[J];计算机仿真;2016年10期
9 严侃;雷江涛;;基于时频分析的水声目标被动检测模型研究[J];鱼雷技术;2015年01期
10 李世淙;云晓春;张永铮;;一种基于分层聚类方法的木马通信行为检测模型[J];计算机研究与发展;2012年S2期
11 孙飞帆;施勇;薛质;;基于权重分析的网页木马检测模型[J];信息安全与通信保密;2012年12期
12 李月,杨宝俊,郭华;微弱方波信号检测模型混沌解的判定[J];地球物理学进展;2002年01期
13 唐智慧;王志鹏;党珊;朱翠翠;;手机打车软件操作驾驶分心检测模型研究[J];交通运输工程与信息学报;2018年01期
14 赵刚;姚兴仁;;基于用户画像的异常行为检测模型[J];信息网络安全;2017年07期
15 王芳芳;;分布式网络异常攻击检测模型仿真分析[J];计算机测量与控制;2016年10期
16 武为宝;贺年;程金育;邓姿源;赵成;刘文丽;;近红外光谱法建立断血流片快速检测模型[J];中国药事;2012年11期
17 贾慧;高仲合;;基于自相似的异常流量检测模型[J];通信技术;2010年12期
中国重要会议论文全文数据库 前10条
1 刘俊荣;王文槿;刘宝旭;;一种基于网络行为分析的木马检测模型[A];第十六届全国核电子学与核探测技术学术年会论文集(下册)[C];2012年
2 王建平;张自立;魏华;;战术空域冲突检测模型研究[A];Proceedings of 14th Chinese Conference on System Simulation Technology & Application(CCSSTA’2012)[C];2012年
3 李京鹏;杨林;刘世栋;;防火墙状态检测模型研究[A];第十八次全国计算机安全学术交流会论文集[C];2003年
4 孙璐;马兆丰;黄勤龙;;基于权限分析的安卓应用程序风险检测模型[A];第十届中国通信学会学术年会论文集[C];2014年
5 范渊;凌霄;;Android程序安全检测模型[A];第28次全国计算机安全学术交流会论文集[C];2013年
6 武照东;刘英凯;刘春;吴秀峰;;Overlay网络的链路故障检测模型[A];2008通信理论与技术新发展——第十三届全国青年通信学术会议论文集(下)[C];2008年
7 刘赛娥;;基于ARP欺骗的以太网检测模型的设计与实现[A];《教师教学能力发展研究》科研成果集(第六卷)[C];2017年
8 周双娥;熊国平;;基于Petri网的故障检测模型的设计与分析[A];第六届中国测试学术会议论文集[C];2010年
9 廖鹏;;基于异常特征的DDoS检测模型[A];经济发展方式转变与自主创新——第十二届中国科学技术协会年会(第四卷)[C];2010年
10 王心觉;;应用LabVIEW的建筑结构健康检测模型和预警系统实验[A];2015年上海-西安声学学会第四届声学学术交流会论文集[C];2015年
中国博士学位论文全文数据库 前10条
1 邓涛;基于视觉注意的驾驶场景显著性检测模型研究[D];电子科技大学;2018年
2 赵静;网络协议异常检测模型的研究与应用[D];北京交通大学;2010年
3 唐赫;基于生物启发和统计分析相结合的图像显著性检测模型研究[D];华中科技大学;2017年
4 蒋鹏;图像内容显著性检测的理论和方法研究[D];山东大学;2016年
5 李涛;基于上下文的目标检测研究[D];电子科技大学;2016年
6 陈林洁;褪黑激素受体MT1活化的信号转导机制研究及内含肽介导的新型GPCR活化检测模型构建[D];浙江大学;2013年
7 王颖;僵尸网络对抗关键技术研究[D];北京邮电大学;2014年
8 高洪燕;生菜生长信息快速检测方法与时域变量施肥研究[D];江苏大学;2015年
9 王常荣;黄伞中抗氧化成分的分离鉴定及其抗HIV-1作用机制研究[D];南开大学;2013年
10 牛清宁;基于信息融合的疲劳驾驶检测方法研究[D];吉林大学;2014年
中国硕士学位论文全文数据库 前10条
1 孙冠雄;人体关键点检测模型及其向心脏关键点定位的迁移研究[D];哈尔滨工业大学;2018年
2 邢召龙;基于深度学习的肺癌检测模型[D];吉林大学;2018年
3 许友昌;云环境下面向智能运维的KPI异常检测研究[D];广西大学;2018年
4 张瑜;基于Powerlink协议解析的异常检测方法研究[D];沈阳理工大学;2018年
5 姜鹏;多态性位点和致病基因的检测模型构建与算法研究[D];广西大学;2017年
6 李光曦;基于多特征的跨语言剽窃检测模型构建技术研究[D];哈尔滨工程大学;2017年
7 杨俊;基于卷积神经网络的目标检测研究[D];兰州理工大学;2018年
8 黄莉芝;基于深度卷积神经网络的目标检测算法研究[D];西南交通大学;2018年
9 李晓艳;无线网络环境下伪AP检测模型的研究与实现[D];北京邮电大学;2018年
10 邢华康;基于人工免疫的病毒检测模型研究[D];北京邮电大学;2018年
中国重要报纸全文数据库 前3条
1 赛迪出版传媒首席记者 郭涛;预见性安全“又快又好”[N];中国计算机报;2018年
2 中联绿盟、李群;IDS的关键:解决好误报和漏报[N];中国计算机报;2002年
3 ;文化力是决定成败的关键因素[N];常州日报;2009年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978