风控日志监管异常自动检测方法研究

【摘要】：风控系统作为金融业务免疫系统,伴随着在线金融业务的发展已经变得越来越重要。风控系统承担着大量的金融业务,对风控系统的稳定性要求极高,因此,需要一个监管平台来对风控系统的稳定运行实时监控。本文主要是分析百度风控系统的业务日志,将业务日志中的外联和业务流程作为监控项,实时采集业务监控项的各项统计数据,结合机器学习分类算法,实现业务异常的发现和检测报警工作。本文主要进行了以下几项工作:(1)风控日志监管平台研究与设计。主要包括日志监管平台的总体架构和逻辑设计。从功能的角度,分模块设计监控平台;从逻辑设计的角度,分层设计日志监管平台。利用日志监管平台把风控系统的监控项管理、监控项负责人、监控项的异常发现,异常检测以及异常的处理和反馈串联起来。(2)基于改进的K-Means聚类算法发现异常。从业务日志中分析获取监控项需要的统计数据,首先对数据进行标准化处理,采用K-Means聚类,发现监控项异常簇,辅助人工对异常簇中的异常实例的进行分析判定,结合线上反馈,进一步确定是否属于异常实例。(3)基于动态分类的异常检测模型设计与评估。其一,通过处理每个监控项的历史数据,构建监控项的训练集和测试集,利用机器学习分类算法,构建多个分类模型,并且对分类模型做出比较和评估,采用最优分类模型用于监控项的异常检测;其二,监控项不断产生新的数据,每当监控项产生新的异常时,将异常实例添加到训练集,重新训练分类模型,从而减少异常的误报率和漏报率。