收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

风控日志监管异常自动检测方法研究

张立保  
【摘要】:风控系统作为金融业务免疫系统,伴随着在线金融业务的发展已经变得越来越重要。风控系统承担着大量的金融业务,对风控系统的稳定性要求极高,因此,需要一个监管平台来对风控系统的稳定运行实时监控。本文主要是分析百度风控系统的业务日志,将业务日志中的外联和业务流程作为监控项,实时采集业务监控项的各项统计数据,结合机器学习分类算法,实现业务异常的发现和检测报警工作。本文主要进行了以下几项工作:(1)风控日志监管平台研究与设计。主要包括日志监管平台的总体架构和逻辑设计。从功能的角度,分模块设计监控平台;从逻辑设计的角度,分层设计日志监管平台。利用日志监管平台把风控系统的监控项管理、监控项负责人、监控项的异常发现,异常检测以及异常的处理和反馈串联起来。(2)基于改进的K-Means聚类算法发现异常。从业务日志中分析获取监控项需要的统计数据,首先对数据进行标准化处理,采用K-Means聚类,发现监控项异常簇,辅助人工对异常簇中的异常实例的进行分析判定,结合线上反馈,进一步确定是否属于异常实例。(3)基于动态分类的异常检测模型设计与评估。其一,通过处理每个监控项的历史数据,构建监控项的训练集和测试集,利用机器学习分类算法,构建多个分类模型,并且对分类模型做出比较和评估,采用最优分类模型用于监控项的异常检测;其二,监控项不断产生新的数据,每当监控项产生新的异常时,将异常实例添加到训练集,重新训练分类模型,从而减少异常的误报率和漏报率。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 文娟,薛永生,段江娇,王劲波;基于关联规则的日志分析系统的设计与实现[J];厦门大学学报(自然科学版);2005年S1期
2 张晓刚;潘久辉;;MS SQL Server 2000日志分析方法的研究与实现[J];计算机工程与设计;2006年19期
3 李春林;周根鸿;张文体;;重视日志审计确保数据安全[J];医学信息;2007年10期
4 梁晓雪;王锋;;基于聚类的日志分析技术综述与展望[J];云南大学学报(自然科学版);2009年S1期
5 黄海隆;陈赛娉;;计算机日志分析与管理方法的研究[J];大众科技;2006年07期
6 郑毅;;基于日志分析的网络IDS研究[J];襄樊学院学报;2008年11期
7 陈庭平;沈丽娟;曾鹏;;日志服务器建设和应用[J];网络安全技术与应用;2010年09期
8 邹先霞;贾维嘉;潘久辉;;基于数据库日志的变化数据捕获研究[J];小型微型计算机系统;2012年03期
9 罗新;;防火墙日志分析系统的设计与实现[J];计算机时代;2012年02期
10 姜良华;崔建明;;Serv-U FTP服务器日志分析系统设计与实现[J];电脑知识与技术;2010年28期
11 李玉荣;杨树强;贾焰;周斌;樊宇;;分布式日志服务关键技术研究[J];计算机工程与应用;2006年07期
12 李哲;李先国;;基于关联规则的日志分析系统的研究与设计[J];微型电脑应用;2009年03期
13 陈文;邓韵东;钏涛;;电网网络系统运行日志分析[J];云南电力技术;2011年05期
14 李燕南;刘新;蒋伟宏;赵群;;主机日志分析与研究[J];中国高新技术企业;2010年04期
15 李先捷;汤艳君;;基于日志的提取已修改计算机系统时间的方法[J];信息网络安全;2013年05期
16 刘虎球;马超;白家驹;;面向驱动配置的自动日志插入方法研究[J];计算机学报;2013年10期
17 方航锋,汪海航;日志提取分析系统的设计和实现[J];计算机工程;2004年14期
18 陈海宇;曾德胜;;基于日志的异常软件使用模式检测[J];淮海工学院学报(自然科学版);2011年01期
19 袁佳;郭燕慧;;基于rabbitmq的海量日志的分布式处理[J];软件;2013年07期
20 涂频;;服务器日志分析在网站改进中的应用[J];九江学院学报(自然科学版);2010年04期
中国重要会议论文全文数据库 前10条
1 马辰;武斌;;一种基于攻击事件图的蜜网日志分析方法[A];虚拟运营与云计算——第十八届全国青年通信学术年会论文集(下册)[C];2013年
2 周涛;;基于数据挖掘的入侵检测日志分析技术研究[A];第二届中国科学院博士后学术年会暨高新技术前沿与发展学术会议程序册[C];2010年
3 陈晨;郑康锋;;一种基于支持向量机的蜜网系统日志分析方法[A];2011年通信与信息技术新进展——第八届中国通信学会学术年会论文集[C];2011年
4 刘莉;;基于多协议技术的日志集中管理安全方案[A];2008年中国通信学会无线及移动通信委员会学术年会论文集[C];2008年
5 耿涛;;Web日志分析在电子数据取证中的应用[A];第二十一次全国计算机安全学术交流会论文集[C];2006年
6 闫龙川;王怀宇;李枫;毛一凡;;基于Hadoop的邮件日志分析与研究[A];2012电力行业信息化年会论文集[C];2012年
7 陈庆章;王磊;毛科技;戴国勇;;基于防火墙日志的在线攻击侦查系统的设计与实现(英文)[A];全国第19届计算机技术与应用(CACIS)学术会议论文集(下册)[C];2008年
8 王振亚;武斌;;基于MFI-WT算法的蜜网日志分析方法[A];第十七届全国青年通信学术年会论文集[C];2012年
9 金松昌;方滨兴;杨树强;贾焰;;基于Hadoop的网络安全日志分析系统的设计与实现[A];全国计算机安全学术交流会论文集·第二十五卷[C];2010年
10 朱金清;王建新;陈志泊;;基于APRIORI的层次化聚类算法及其在IDS日志分析中的应用[A];第二十四届中国数据库学术会议论文集(研究报告篇)[C];2007年
中国博士学位论文全文数据库 前10条
1 饶翔;基于日志的大规模分布式软件系统可信保障技术研究[D];国防科学技术大学;2011年
2 曹志波;基于日志的任务建模及调度优化的研究[D];华南理工大学;2014年
3 胡蓉;WEB日志和子空间聚类挖掘算法研究[D];华中科技大学;2008年
4 董春茹;机器学习中的权重学习与差分演化[D];华南理工大学;2015年
5 姚明臣;机器学习和神经网络学习中的若干问题研究[D];大连理工大学;2016年
6 Maxim Pecionchin;[D];对外经济贸易大学;2016年
7 杜宇;基于深度机器学习的体态与手势感知计算关键技术研究[D];浙江大学;2017年
8 钟锦红;群智学习若干问题研究[D];中国科学技术大学;2017年
9 赵东;基于群智能优化的机器学习方法研究及应用[D];吉林大学;2017年
10 鲁路;基于机器学习优化分子对接筛选肾衰营养胶囊有效成分[D];南方医科大学;2017年
中国硕士学位论文全文数据库 前10条
1 张立保;风控日志监管异常自动检测方法研究[D];山东科技大学;2017年
2 张天生;日志采集与分析在Web网站中的设计与实现[D];上海交通大学;2015年
3 周海靖;日志大数据分析平台技术研究[D];山东大学;2015年
4 赖特;网络安全设备日志融合技术研究[D];电子科技大学;2015年
5 董妍妍;基于Hadoop的Teradata数据仓库日志分析系统的设计与实现[D];南京大学;2014年
6 李名弈;IPTVQOS日志分析方法研究[D];复旦大学;2013年
7 刘季函(Liu,Chi Han);基于Spark的网络日志分析系统的设计与实现[D];南京大学;2014年
8 李荣荣;基于Hadoop平台的日志分析系统[D];复旦大学;2013年
9 周云斌;基于主机的日志大数椐分析及安全性检查[D];大连理工大学;2015年
10 张迪;基于NoSQL的大规模Web日志分析系统的设计与实现[D];复旦大学;2013年
中国重要报纸全文数据库 前10条
1 中航工业南方航空工业集团(有限)公司科技与信息部 邹沪湘;分析日志识别暴力破解[N];计算机世界;2013年
2 ;日志分析中的五个误区[N];网络世界;2004年
3 陈代寿;网管的四两拨千斤[N];中国计算机报;2004年
4 IBM大数据专家 James Kobielus 范范 编译;大数据日志分析借机器学习腾飞[N];网络世界;2014年
5 《网络世界》评测实验室 于洋;用好Web日志[N];网络世界;2004年
6 重庆 航行者;IIS的安全[N];电脑报;2002年
7 河南工业职业技术学院 邱建新;监测Squid日志的五种方法[N];计算机世界;2005年
8 shotgun;入侵检测初步(上)[N];电脑报;2001年
9 朱闵;浅谈企业核心应用的安全审计(下)[N];网络世界;2008年
10 覃进文;在Windows 2000&&2003下快速安装Webalizer[N];中国电脑教育报;2003年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978