收藏本站
《电子科技大学》 2010年
收藏 | 手机打开
二维码
手机客户端打开本文

基于数据挖掘的通信网告警相关性分析研究

李彤岩  
【摘要】:智能化的网络故障诊断与定位是现代网络管理的发展趋势。随着应用业务的拓展和建设规模的不断扩大,通信网变得愈来愈复杂,一个故障的产生往往会引发多个告警事件。这就要求对告警进行分析,找出它们之间的相关性,从而准确地判断故障产生的根源。传统的专家系统由于存在着知识获取的瓶颈,很难适应网络动态变化的要求。数据挖掘是近年来兴起的知识发现技术,将其应用于通信网络的故障管理,不仅具有学科领域的先进性,而且具有重要的实际意义。本文将数据挖掘技术应用到告警相关性分析中,并针对通信网及告警数据的特点(包括网络拓扑及业务的动态性、告警属性的不均匀性、网络业务具有优先级别和预示重大故障的告警数量稀少等)深入研究了告警的关联规则挖掘以及告警的预测模式挖掘等关键问题,取得的研究成果如下: 第一,提出了新的告警数据的预处理方法。为了将原始告警转化成适合挖掘的数据形式,本文设计了基于双约束的滑动时间窗口来处理原始告警,对其进行冗余信息的删除、量化和提取,最后转换成告警事务数据;针对告警属性的不平等性,并结合通信网的实际特点,提出了采用二元神经网络确定告警权值的方法,该方法既体现了专家的经验知识,又能够随着网络拓扑的变化更新神经网络的连接权,非常适合通信网的环境;将告警事务的提取方法和告警权值的确定方法集成在告警预处理专家系统中,得以更高效、更科学地完成原始告警的预处理操作。 第二,深入地研究了通信网告警关联规则的挖掘算法,提出了加权潜在频繁模式树(WPFP-tree)的结构来挖掘加权频繁模式,并提出了两种加权关联规则挖掘算法WPFPT-WARM和WPFPT-WARM*。WPFPT-WARM算法是基于WPFP-tree结构由候选项集逐步地生成加权频繁模式,而WPFPT-WARM*算法是先基于WPFP-tree寻找最大加权频繁模式,然后逐步地生成所有的加权频繁模式。实验结果证明,相对比目前的一些加权关联规则挖掘算法,基于WPFP-tree结构的加权关联规则挖掘算法具有更高的效率和更低的复杂性。其中,WPFPT-WARM算法更适合于挖掘模式较短的告警事务,算法复杂度比较低;而WPFPT-WARM*算法对于处理告警事务模式长的情况具有很高的效率。 第三,针对通信网告警数据,对增量式更新挖掘算法进行了深入研究。基于WPFPT-WARM算法,分别提出了加权支持度阈值变化时的增量式更新挖掘算法WPFPT-WARM(S)和数据库变化时的增量式更新挖掘算法WPFPT-WARM(D)。实验结果证明,本文提出的两种增量式更新挖掘算法采用了更新WPFP-tree结构的方法,可以获得比其他增量式更新挖掘算法更高的效率。 第四,研究了规则的生成和处理方法。首先提出了基于深度搜索的规则生成算法的改进方法DFS-RG';然后针对通信网告警数据之间关系不平等的特点,提出了一种基于加权频繁模式的规则生成方法WFP-RG;针对生成的部分规则存在着冗余和没有蕴含关系等问题,提出了新的规则处理方法。最后通过测试通信网告警数据,验证了规则生成算法以及规则处理方法的有效性。 第五,提出了新的基于稀疏贝叶斯的通信网告警序列预测方法APPM-SBL。APPM-SBL通过稀疏贝叶斯线性分类来学习小样本数据并产生预测模式,不仅具有支持向量机(SVM)避免过学习的优点,而且产生比SVM更高的预测性能和更少的核函数。 第六,为了验证、评估本文提出的各种算法,设计了告警相关性分析系统,实现了加权关联规则挖掘系统平台,并且在实际的通信网告警数据库中利用该系统考察了各种算法的性能。
【学位授予单位】:电子科技大学
【学位级别】:博士
【学位授予年份】:2010
【分类号】:TP311.13

【引证文献】
中国博士学位论文全文数据库 前1条
1 张淑英;网络安全事件关联分析与态势评测技术研究[D];吉林大学;2012年
中国硕士学位论文全文数据库 前2条
1 李青锋;数据仓库和数据挖掘在农业科技成果转化中的应用研究[D];首都师范大学;2012年
2 孙斌;基于关联规则的某银行网管系统中通信网告警相关性分析[D];电子科技大学;2012年
【参考文献】
中国期刊全文数据库 前8条
1 徐前方;肖波;郭军;;一种基于相关度统计的告警关联规则挖掘算法[J];北京邮电大学学报;2007年01期
2 肖海林;李兴明;;层次分析法在通信网告警相关性分析中的应用研究[J];电信科学;2006年11期
3 欧阳继红,王仲佳,刘大有;具有动态加权特性的关联规则算法[J];吉林大学学报(理学版);2005年03期
4 朱玉全,孙志挥,季小俊;基于频繁模式树的关联规则增量式更新算法[J];计算机学报;2003年01期
5 欧阳为民,郑诚,蔡庆生;数据库中加权关联规则的发现[J];软件学报;2001年04期
6 陈玥,林齐宁,涂志云;关联规则的一种定量分析方法[J];通信学报;2003年03期
7 李伟东;倪志伟;刘晓;;基于兴趣度的关联规则挖掘[J];计算机技术与发展;2007年06期
8 单莘;朱永宣;郭军;;基于支持向量机的网络告警预测知识发现[J];微电子学与计算机;2007年06期
中国博士学位论文全文数据库 前2条
1 单莘;基于知识发现的告警相关性分析关键问题研究[D];北京邮电大学;2006年
2 徐前方;基于数据挖掘的网络故障告警相关性研究[D];北京邮电大学;2007年
中国硕士学位论文全文数据库 前1条
1 王仲佳;具有动态加权特性的关联规则算法及其在电信故障告警序列模式发掘中的应用[D];吉林大学;2005年
【共引文献】
中国期刊全文数据库 前10条
1 王傲胜;李国徽;;具有利润约束的数值型关联规则的发现[J];安徽电气工程职业技术学院学报;2006年03期
2 干娟;;基于决策树算法的学生综合测评系统的设计[J];安徽电子信息职业技术学院学报;2011年04期
3 宋平平;;基于数据挖掘的智能入侵检测系统模型及实现[J];安徽工程科技学院学报(自然科学版);2006年03期
4 张静,马云吉,张继生;超市消费行为分析中的增量挖掘系统原型[J];鞍山科技大学学报;2004年01期
5 焦亚冰;;教学评价数据挖掘中的关联规则分析与设计[J];辽宁科技大学学报;2010年03期
6 宋威;刘宇;李晋宏;;基于数据库垂直表示的高效用项集挖掘算法研究[J];北方工业大学学报;2011年01期
7 孙娟;张秀梅;;浅谈数据挖掘理论与技术[J];办公自动化;2008年16期
8 邹力鹍;张其善;;基于多最小支持度的加权关联规则挖掘算法[J];北京航空航天大学学报;2007年05期
9 白昊;王崑声;胡昌振;张刚;经小川;;基于FP-Growth算法及补偿性入侵证据的攻击意图识别[J];北京理工大学学报;2010年08期
10 安颖;;基于Apriori算法的兴趣集加权关联规则挖掘[J];北京联合大学学报(自然科学版);2008年04期
中国重要会议论文全文数据库 前10条
1 陈晨;郑康锋;;一种基于支持向量机的蜜网系统日志分析方法[A];2011年通信与信息技术新进展——第八届中国通信学会学术年会论文集[C];2011年
2 赵云鹏;石丽;刘莹;;基于数据挖掘的高校规模分析及应用研究[A];第九届全国信息获取与处理学术会议论文集Ⅰ[C];2011年
3 习慧丹;;Web日志挖掘探析[A];第三届全国软件测试会议与移动计算、栅格、智能化高级论坛论文集[C];2009年
4 杨纪军;朱培栋;;关联规则挖掘技术在蜜罐系统中的应用[A];中国电子学会第十六届信息论学术年会论文集[C];2009年
5 刘智涛;;数据挖掘中的关联规则浅析[A];甘肃成人教育协会2008年年会论文集[C];2008年
6 刘大为;冯径;孙春风;刘子俊;;基于时间序列分析的气象观探测设备状态预测研究[A];2009第五届苏皖两省大气探测、环境遥感与电子技术学术研讨会专辑[C];2009年
7 原姝;;售后维修服务系统的智能化流程研究[A];江苏省系统工程学会第十一届学术年会论文集[C];2009年
8 闫斌;张茹;谷利泽;;一种基于有限状态自动机的分级告警关联设计方案[A];2009通信理论与技术新发展——第十四届全国青年通信学术会议论文集[C];2009年
9 孙永道;邵慧莹;仝彦丽;;浅析电子商务中的数据挖掘技术[A];2008'中国信息技术与应用学术论坛论文集(一)[C];2008年
10 宫蕊;舒红平;郭远远;;基于DBSCAN的密度聚类算法的研究[A];2008'中国信息技术与应用学术论坛论文集(二)[C];2008年
中国博士学位论文全文数据库 前10条
1 殷志伟;基于统计学习理论的分类方法研究[D];哈尔滨工程大学;2009年
2 吴学雁;金融时间序列模式挖掘方法的研究[D];华南理工大学;2010年
3 张寅;个性化技术及其在数字图书馆中应用的研究[D];浙江大学;2009年
4 程文聪;面向大规模网络安全态势分析的时序数据挖掘关键技术研究[D];国防科学技术大学;2010年
5 马晓普;角色工程中的角色与约束生成方法研究[D];华中科技大学;2011年
6 张晓辉;云理论和数据挖掘在水上安全分析中的应用[D];大连海事大学;2011年
7 屈岚;三种不同肤色人种冠心病中医证型临床流行病学调查[D];湖南中医药大学;2011年
8 卢又燃;放射科随访数据库建立与粗糙集方法辅助诊断胶质瘤分级的应用分析[D];复旦大学;2009年
9 朱辉生;基于情节规则匹配的数据流预测研究[D];复旦大学;2011年
10 林冠洲;网络流量识别关键技术研究[D];北京邮电大学;2011年
中国硕士学位论文全文数据库 前10条
1 刘志强;基于数据挖掘的客户行为分析和预测研究[D];山东科技大学;2010年
2 汤雪;时间序列线性表示方法及其相似性度量算法研究[D];山东科技大学;2010年
3 史文财;省级政务网安全检测系统的设计与实现[D];哈尔滨工程大学;2010年
4 解保忠;计算机在矽肺病早期诊断及预测中的应用研究[D];哈尔滨工程大学;2010年
5 李威;多参数扰动的隐私保护关联规则挖掘算法研究[D];哈尔滨工程大学;2010年
6 尹丽玲;基于人工免疫算法的Web文本挖掘研究[D];哈尔滨工程大学;2010年
7 刘靖媛;个性搜索引擎中用户兴趣模型研究[D];哈尔滨工程大学;2010年
8 徐洪伟;数据挖掘中决策树分类算法的研究与改进[D];哈尔滨工程大学;2010年
9 曹振兴;适应概念漂移的数据流分类算法研究[D];哈尔滨工程大学;2010年
10 李丽;基于数据挖掘的用户缴费信用风险评估研究[D];哈尔滨工程大学;2010年
【同被引文献】
中国期刊全文数据库 前10条
1 徐前方;肖波;郭军;;一种基于相关度统计的告警关联规则挖掘算法[J];北京邮电大学学报;2007年01期
2 姜静清,梁艳春,孙延风,吴春国;引入收益因素的RBF神经网络及其应用[J];吉林大学学报(信息科学版);2002年03期
3 顾洪博;赵万平;;数据挖掘算法性能优化的研究与应用[J];长春理工大学学报(自然科学版);2010年01期
4 葛军,葛伦应;层次分析法确定水质指标权重[J];当代建设;2003年03期
5 龚俭 ,梅海彬 ,丁勇 ,魏德昊;多特征关联的入侵事件冗余消除[J];东南大学学报(自然科学版);2005年03期
6 连凤娜;吴锦林;唐琦;;一种改进的K-means聚类算法[J];电脑与信息技术;2008年01期
7 朱永春;万敏;;浅析数据挖掘技术[J];电脑知识与技术;2010年02期
8 胡勤;;人工智能概述[J];电脑知识与技术;2010年13期
9 ;信息安全等级保护管理办法[J];电力信息化;2007年09期
10 王益丰,李涛,胡晓勤,宋程;一种基于人工免疫的网络安全实时风险检测方法[J];电子学报;2005年05期
中国博士学位论文全文数据库 前3条
1 王丽敏;计算智能改进方法及其在金融与环境领域中的应用[D];吉林大学;2007年
2 张勇;网络安全态势感知模型研究与系统实现[D];中国科学技术大学;2010年
3 韩旭明;若干改进的人工免疫算法及其在大气环境领域中的应用[D];吉林大学;2010年
中国硕士学位论文全文数据库 前10条
1 黎敏;数据挖掘算法研究与应用[D];大连理工大学;2004年
2 罗妤;聚类数据挖掘在商场中的应用及K-means聚类算法改进研究[D];重庆大学;2005年
3 石峰;通信网网管告警相关性分析机制的研究与应用[D];南昌大学;2006年
4 乔俊杰;QAM解调芯片中码元同步电路的设计与实现[D];东南大学;2006年
5 陈晓霞;银河证券营业部客户分类与活跃度预测[D];对外经济贸易大学;2007年
6 谭雪霏;数字通信系统中同步技术的研究[D];南京理工大学;2007年
7 郭照辉;农业科技成果转化研究[D];湖南农业大学;2007年
8 贾卫军;数据挖掘技术在电信网管系统中的应用研究[D];西安建筑科技大学;2008年
9 金文进;网络安全事件发现与关联分析系统[D];哈尔滨工程大学;2008年
10 杨亚刚;数据仓库增量数据抽取在保险行业的应用[D];北京邮电大学;2009年
【二级引证文献】
中国期刊全文数据库 前2条
1 王建军;;计算机网络如何保证信息安全[J];计算机光盘软件与应用;2013年16期
2 李洪成;付钰;叶清;吴晓平;;基于粗糙集定权的网络安全态势要素提取方法[J];计算机与数字工程;2014年03期
【二级参考文献】
中国期刊全文数据库 前10条
1 苏利敏,侯朝桢,戴忠健,潘秀琴;基于神经网络的告警关联[J];北京理工大学学报;2002年03期
2 张英海,韦东,刘杰;交换机告警报告中的知识发现[J];北京邮电大学学报;2000年04期
3 端义锋,胡谷雨,丁力;序列模式挖掘在网络告警分析中的应用[J];北京邮电大学学报;2004年S2期
4 秦拯,沈亚敏;基于贝叶斯网络的告警相关算法研究[J];长沙电力学院学报(自然科学版);2005年03期
5 涂志云,林齐宁,陈玥;F150交换机告警关联规则的研究[J];电信科学;2002年01期
6 付松,吴宇红,刘炯;WLAN网管系统中的分布式故障管理[J];电子科技;2005年03期
7 王云岚,李增智,屈科文;基于候选项集个数上阶的增量式关联规则更新算法[J];电子学报;2004年05期
8 王新苗,晏蒲柳,黄天锡;基于改进遗传神经网络模型的通信网络故障识别和告警相关性分析方法[J];电子科学学刊;2000年05期
9 李家春,李芝棠;入侵检测的规划识别模型研究[J];华中科技大学学报(自然科学版);2004年03期
10 于剑,程乾生;模糊聚类方法中的最佳聚类数的搜索范围[J];中国科学E辑:技术科学;2002年02期
【相似文献】
中国期刊全文数据库 前10条
1 张新光,王建华;数据仓库信息处理技术研究[J];齐齐哈尔大学学报;2000年03期
2 丁纪云,蔡春娥;利用构造数据集评定数据挖掘过程的方法[J];湖南广播电视大学学报;2001年02期
3 任承业,罗伟其;校园信息系统中CRM与数据挖掘的结合和应用[J];计算机工程与应用;2003年13期
4 王艳;数据挖掘在数字图书馆中的应用[J];情报科学;2003年02期
5 邵红全,赵茜;用SQL Server2000实现数据挖掘的技术与策略[J];电脑开发与应用;2003年04期
6 耿庆鹏,卢子芳;利用数据挖掘技术实现对电信行业用户欺诈行为的预测[J];电信快报;2003年10期
7 蒋良孝,蔡之华;基于数据仓库的数据挖掘研究[J];计算技术与自动化;2003年03期
8 叶静,蔡之华;遥感图像中的数据挖掘应用概述[J];计算机与现代化;2003年10期
9 黄解军,万幼川,潘和平;银行客户关系管理与数据挖掘的应用[J];计算机工程与设计;2003年07期
10 崔强,朱卫东;基于数据挖掘的铁路机务段成本控制系统[J];铁路计算机应用;2003年01期
中国重要会议论文全文数据库 前10条
1 郭学军;陈晓云;;粗集方法在数据挖掘中的应用[A];第十六届全国数据库学术会议论文集[C];1999年
2 徐慧;;基于Web的文献数据挖掘[A];第十七届全国数据库学术会议论文集(技术报告篇)[C];2000年
3 孙迎;;医院信息的数据挖掘与方法研究[A];中华医学会第十次全国医学信息学术会议论文汇编[C];2004年
4 薛晓东;李海玲;;数据挖掘的客户关系管理应用[A];科技、工程与经济社会协调发展——河南省第四届青年学术年会论文集(下册)[C];2004年
5 郭建文;黄燕;印鉴;杨小波;梁兆辉;;建立中风病“阴阳类证”辨证规范的数据挖掘研究[A];中华医学会第十三次全国神经病学学术会议论文汇编[C];2010年
6 薛鲁华;张楠;;聚类分析在Web数据挖掘中的应用[A];北京市第十三次统计科学讨论会论文选编[C];2006年
7 朱扬勇;黄超;;基于多维模型的交互式数据挖掘框架[A];第二十届全国数据库学术会议论文集(技术报告篇)[C];2003年
8 陈涛;胡学钢;陈秀美;;基于数据挖掘的教学质量评价体系分析[A];全国第21届计算机技术与应用学术会议(CACIS·2010)暨全国第2届安全关键技术与应用学术会议论文集[C];2010年
9 王星;谢邦昌;戴稳胜;;数据挖掘在保险业中的应用[A];北京市第十二次统计科学讨论会论文选编[C];2003年
10 郭建文;黄燕;印鉴;杨小波;梁兆辉;;建立中风病阴阳类证辨证规范的数据挖掘研究[A];2010中国医师协会中西医结合医师大会摘要集[C];2010年
中国重要报纸全文数据库 前10条
1 李开宇 黄建军 田长春;把“数据挖掘”作用发挥出来[N];中国国防报;2009年
2 华莱士;“数据挖掘”让银行赢利更多[N];国际金融报;2003年
3 记者 晏燕;数据挖掘让决策者告别“拍脑袋”[N];科技日报;2006年
4 □中国电信股份有限公司北京研究院 张舒博 □北京邮电大学计算机科学与技术学院 牛琨;走出数据挖掘的误区[N];人民邮电;2006年
5 张立明;数据挖掘之道[N];网络世界;2003年
6 中圣信息技术有限公司 李辉;数据挖掘在CRM中的作用[N];中国计算机报;2001年
7 田红生;数据挖掘在CRM中的应用[N];中国经济时报;2002年
8 王广宇;数据挖掘 加速银行CRM一体化[N];中国计算机报;2004年
9 周蓉蓉;数据挖掘需要点想像力[N];计算机世界;2004年
10 张舒博;数据挖掘 提升品牌的好帮手[N];首都建设报;2009年
中国博士学位论文全文数据库 前10条
1 孙丽;工艺知识管理及其若干关键技术研究[D];大连交通大学;2005年
2 胡志坤;复杂有色金属熔炼过程操作模式智能优化方法研究[D];中南大学;2005年
3 刘革平;基于数据挖掘的远程学习评价研究[D];西南师范大学;2005年
4 刘寨华;基于临床数据分析的病毒性心肌炎证候演变规律研究[D];黑龙江中医药大学;2006年
5 王川;基因芯片数据管理及数据挖掘[D];中国科学院研究生院(上海生命科学研究院);2004年
6 王涛;挖掘序列模式和结构化模式的精简集[D];华中科技大学;2006年
7 郭斯羽;动态数据中的数据挖掘研究[D];浙江大学;2002年
8 李旭升;贝叶斯网络分类模型研究及其在信用评估中的应用[D];西南交通大学;2007年
9 刘东升;面向连锁零售企业的客户关系管理模型(R-CRM)研究[D];浙江工商大学;2008年
10 余红;网络时政论坛舆论领袖研究[D];华中科技大学;2007年
中国硕士学位论文全文数据库 前10条
1 廖赛恩;养生方数据挖掘分析系统的研制[D];湖南中医药大学;2010年
2 李坤然;数据挖掘在股市趋势预测的应用研究[D];中南林业科技大学;2008年
3 郑宏;数据挖掘可视化技术的研究与实现[D];西安电子科技大学;2010年
4 杜金刚;数据挖掘在电信客户关系管理及数据业务营销中的应用[D];北京邮电大学;2010年
5 徐路;基于决策树的数据挖掘算法的研究及其在实际中的应用[D];电子科技大学;2009年
6 梁小鸥;数据挖掘在高职教学管理中的应用[D];华南理工大学;2011年
7 王浩;数据挖掘在上海市职业能力考试院招录考试优化管理项目中的运用研究[D];华东理工大学;2012年
8 黎卫英;数据挖掘在中职幼教课程改革中的应用[D];福建师范大学;2009年
9 张煜辉;数据挖掘和SPC在生产过程质量控制中应用研究[D];上海交通大学;2009年
10 刘华敏;数据挖掘在高职院校学生成绩分析中的应用[D];安徽大学;2011年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026