收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

数据流聚类分析与异常检测算法

张晨  
【摘要】: 数据流作为一种新型的数据模型,在许多应用诸如网络流量管理、金融数据处理、工业监控、交通治理、网站信息的发布和订阅、以及电子商务中都扮演着重要的角色。在数据流挖掘技术日益得到广泛关注的今天,存在于数据中的不确定性问题和多数流处理问题给研究人员带来了新的挑战:一方面,由于不确定数据流既要求保留数据流的无限,快速等特性,还需要利用有限的系统资源减少不确定性因素对挖掘过程造成的影响;另一方面,多数据流处理技术则要求不仅关注于一条数据流的流量变化,同时还需要根据大量数据流之间的相关性与分布特征进行分析处理,因此我们需要重新研究新的面向多数据流及不确定数据流的挖掘算法。 学术界虽然已经对数据流上的聚类分析与异常检测问题进行了广泛的研究,但仍存在许多问题尚待解决。本文主要研究不确定数据流聚类分析算法和多数据流异常趋势检测问题,旨在为现有的数据流系统提供更为多样的聚类分析与异常检测功能。同时,还对每个所提出的技术及其相关工作进行大量、深入的实验分析,实验结果都充分证明了所提出技术的有效性和高效性。本文的主要贡献体现在如下四个方面: ●本文提出了一种新的不确定数据流聚类算法(EMicro),用于在传统的数据流聚类的基础上解决数据不确定性给聚类过程造成的影响。首先它根据概率数据的特点定义了新的聚类标准,使之能兼顾距离与概率双重因素;然后根据新的聚类要求,提出了一种基于概率引力的元组分配策略;最后,为了有效的减少异常点对聚类结果的影响,我们提出了一套缓冲式异常点处理机制。 ●本文提出了一种基于信息论的概率数据流聚类算法(EnMicro),用于在信息熵的标准下重新实现聚类过程。首先它基于信息熵的概念定义了元组的不确定性,并通过其来反映数据质量的好坏;然后通过新定义的元组不确定性标准,提出了能够兼顾时间与数据不确定性的混合衰减模型;最后,在新的不确定性标准和混合衰减模型的基础上,提出了一种新的概率数据流聚类算法。 ●本文提出了一套在多数据流情况下的异常趋势检测方法。首先,针对现有趋势定义的不足之处,引入了一种适合数据流环境下的趋势定义,它的优点在于其较低的时空复杂度;为了在趋势计算过程中选择合适的时间尺度,又提出了一种基于奇异值分解的选择算法,同时给出了一种用于在线调整参数的概要数据结构;最后,当关注重点由单数据流转向多数据流时,我们将基于多数据流的斜度统计值来监控异常情况。 ●本文实现了一套名为DiCAS的网络数据流异常检测系统,它结合上海电信骨干网上的数据流量监测需求,实现了对多数据流量的在线监测。DiCAS系统采用降维分析算法对SNMP数据流进行分析,通过监测网络链路上不同流量数据的相关性变化来发现异常流量。模拟实验和在真实环境中的应用表明,DiCAS系统能够满足骨干网流量监测应用的需要,并且极大地提高了监测系统的实效性。 综上所述,本文设计了若干种异常检测和聚类分析算法,并且将数据流模型与不确定数据类型相结合,是对现有数据流挖掘技术的有益补充和改进。理论分析和实验结果均表明本文算法能够高效地解决相应问题,与现有数据流处理方法相比,本文算法在存储空间开销、挖掘处理速度以及结果准确性上都具有优势。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 赵以强;张龙波;;数据流管理系统研究现状分析[J];科技信息;2010年28期
2 王金栋;张磊;丁秋林;黄添强;;一种支持分布式数据流处理的双层重叠网络模型[J];应用科学学报;2006年04期
3 安红,孟建;基于数据流处理的雷达对抗仿真框架研究[J];电子对抗技术;2004年06期
4 谢应科,张涛,韩承德;实时SAR成像系统中矩阵转置的设计和实现[J];计算机研究与发展;2003年01期
5 杜威,邹先霞;基于数据流的滑动窗口机制的研究[J];计算机工程与设计;2005年11期
6 李浪;李仁发;;基于数据流异常挖掘的入侵检测系统设计[J];科学技术与工程;2008年13期
7 羌晨晨;;数据流关键技术研究概论[J];装备制造技术;2009年11期
8 孟军;张航黎;张建英;郭禾;;分布式数据流的渐增式聚集维护算法[J];微电子学与计算机;2006年10期
9 陈磊松;;数据流处理系统的负载控制策略研究[J];漳州师范学院学报(自然科学版);2009年03期
10 魏定国;吴时霖;;数据流复杂查询处理的研究[J];计算机科学;2004年02期
11 安红;;基于数据流处理的雷达对抗仿真系统[J];现代雷达;2006年05期
12 蒋建军;王以群;;农村社会保障体系数据流关联规则挖掘[J];计算机工程;2009年17期
13 王金栋;周良;张磊;丁秋林;;基于分枝路径分析的连续查询降载算法[J];应用科学学报;2007年01期
14 胡彧;王顺平;;事务型滑动窗口下的数据流频繁模式挖掘[J];计算机工程与应用;2010年22期
15 闵思鹤,王甲池,江太辉;DS/CDMA扩频通信接收机数据流处理方案[J];通信技术;2003年06期
16 王爽;杨广明;王国仁;;分布式数据流系统通信有效性研究综述[J];微型机与应用;2007年S1期
17 李岩;王惠文;叶明;;数据流分析与技术研究[J];计算机工程与应用;2008年15期
18 张龙波,李战怀,闫剑锋;一种面向数据流处理的直方图增量维护算法[J];计算机工程;2005年14期
19 安红;王春丽;杨莉;;数字仿真技术在电子战装备性能评估中的应用[J];中国电子科学研究院学报;2006年04期
20 闫朝升;张承江;马英;;基于滑动窗口的时间序列数据流分析与预测技术研究[J];黑龙江大学自然科学学报;2006年06期
中国重要会议论文全文数据库 前10条
1 张冬冬;李建中;王伟平;郭龙江;;分布式复式数据流的处理[A];第二十一届中国数据库学术会议论文集(研究报告篇)[C];2004年
2 魏永超;陈立军;;数据流上复杂事件处理系统Eagle的设计与实现[A];第二十五届中国数据库学术会议论文集(一)[C];2008年
3 蔡致远;熊方;钱卫宁;周傲英;;核合并分析及其在数据流密度估计上的应用[A];第二十届全国数据库学术会议论文集(研究报告篇)[C];2003年
4 尹婷;李红燕;;窗口模型下数据流查询流水化执行的研究[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
5 宋宝燕;陆岩;张俊宁;;数据流上的一种适应性查询优化及调度策略[A];第二十三届中国数据库学术会议论文集(研究报告篇)[C];2006年
6 吕雁飞;武珊珊;谷峪;许嘉;于戈;;一种数据流上统计性查询QoS的保证方法[A];第二十四届中国数据库学术会议论文集(研究报告篇)[C];2007年
7 周锐;肖川;王国仁;韩东红;霍欢;;数据流滑动窗口连接上的卸载技术的研究[A];第二十三届中国数据库学术会议论文集(技术报告篇)[C];2006年
8 霍欢;王国仁;陈庆奎;彭敦陆;;基于Hole-Filler模型的XML数据流上的SLCA算法[A];第26届中国数据库学术会议论文集(A辑)[C];2009年
9 武珊珊;宋宝燕;袁锋;于亚新;于戈;;数据流模型研究[A];第二十一届中国数据库学术会议论文集(研究报告篇)[C];2004年
10 闫朝升;李建中;李金宝;;数据流上滑动窗口技术的研究与实现[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
中国博士学位论文全文数据库 前10条
1 朱小栋;基于扩展预测模型标记语言的数据流挖掘系统建模研究[D];南京航空航天大学;2009年
2 吴枫;数据流挖掘若干关键技术研究[D];国防科学技术大学;2009年
3 郭立超;数据流挖掘若干技术研究及其在电信行业的应用[D];浙江大学;2011年
4 于翔;基于网格的数据流聚类方法研究[D];哈尔滨工程大学;2010年
5 李军;基于用户行为挖掘的数据流管理技术研究[D];北京邮电大学;2012年
6 王修君;高效数据流和海量文本处理算法研究[D];中国科学技术大学;2011年
7 李培培;数据流中概念漂移检测与分类方法研究[D];合肥工业大学;2012年
8 周勇;基于并行计算的数据流处理方法研究[D];大连理工大学;2013年
9 欧阳震诤;不平稳数据流的分类技术研究[D];国防科学技术大学;2009年
10 冯博;基于半结构化数据的数据流挖掘算法研究[D];北京邮电大学;2011年
中国硕士学位论文全文数据库 前10条
1 何登成;数据流上复杂序查询的研究与实现[D];浙江大学;2010年
2 周驰;数据流上概念漂移的检测和分类[D];郑州大学;2010年
3 刘娜;离散型数据流在线关联分析[D];大连理工大学;2012年
4 孔颖;基于粒度的数据流不确定性信息处理[D];重庆交通大学;2013年
5 李有生;一种改进的数据流处理算法的研究与实现[D];吉林大学;2010年
6 何江燕;基于数据流的聚类分析算法研究[D];兰州交通大学;2010年
7 李燕;面向含噪数据流的概念漂移集成分类研究[D];合肥工业大学;2011年
8 罗秀;数据流在线分类算法的研究与实现[D];东北大学;2009年
9 由欣;基于有向图构造的数据流预测算法的研究[D];哈尔滨工程大学;2011年
10 张育培;非平稳数据流的概念漂移检测及其分类[D];郑州大学;2013年
中国重要报纸全文数据库 前9条
1 计算机世界实验室 吴挺;Intel的专业“核动力”[N];计算机世界;2007年
2 北京 冬梅;P4时代真的来了吗[N];中国电脑教育报;2001年
3 ;立体防护“中枢神经系统”[N];网络世界;2003年
4 ;NetScreen-IDP 500 高端入侵检测与防护设备[N];计算机世界;2003年
5 甘久斌;如何有效管理宽带用户[N];通信产业报;2002年
6 李勇;降低投资70%[N];中国计算机报;2003年
7 ;在移动互联网里推广IPv6[N];人民邮电;2002年
8 ;港湾网络多业务万兆城域网解决方案[N];人民邮电;2003年
9 记者 郭姜宁;企业级电子商务资金流网络管理系统问世[N];科技日报;2001年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978