收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

流数据挖掘关键技术研究

倪萍  
【摘要】: 流数据挖掘是对到达的数据流按照一定的序列进行挖掘,它和静态数据关联规则的挖掘的不同在于流数据具有高速、连续和无边界等特性。流数据具有的独特特性给数据挖掘和分析带来一系列问题,比如如何快速高效的识别挖掘周期内的有效模式,模式以何种方式呈现能使使用者容易理解,高速数据挖掘中采用何种数据结构能有效的对数据模式进行维护、保存和删除,如何选择合适的挖掘周期,对于连续的流数据采用何种方式进行噪音处理等。 论文在对以上问题研究的基础上,进一步对流数据指标的聚合在网络中的应用进行了研究,多个指标如何反映到一个指标从而有利于业务管理者对业务进行有效的监控和管理。同时,通过对流数据指标的动态学习,深度挖掘流数据的特性,使得业务提供者可以在更高层次上评估用户使用业务的体验。 论文的主要工作和创新点简要归纳如下: 1)针对如何高效快速的识别挖掘周期内的有效模式,论文提出了一种大规模网络中流数据事件关联分析的算法EARA(Events Association Rules Analysis),通过EARA可以发现未知结构大规模网络中的异常事件,并且可以使得用户选择置信度门限值以达到仅仅提取有效模式的目的。同时提出了一种可视化模式压缩算法VPC(Visual Pattern Compress),解决了流数据挖掘中模式以何种方式呈现能使用户容易理解的问题。实验结果显示EARA算法可以发现重要事件之间的关联关系,而VPC算法进一步压缩事件,使得使用者可以很容易从数以千计的关联事件中发现有用的模式。 2)针对高速数据挖掘中采用何种数据结构能有效的对数据模式进行维护、保存和删除问题,论文提出了一种在智能建筑中对于传感网络中的流数据进行增量知识挖掘的算法IKMM(Incremental Knowledge Mining Model), IKMM算法采用树状结构来提高挖掘效率,通过滑动窗口时间参数来控制树状结构的变化速度。另外,通过启发式规则提高关联规则的提取效率。通过同传统的FUP2(Fast Update Patterns 2)和AFPIM(Adjusting FP-Tree for Incremental Mining)算法进行对比,在高维情况下,IKMM算法是其他两种算法效率的10倍以上。 3)数据挖掘时机的确定是目前流数据关联规则挖掘算法的研究热点之一,就是在什么条件下需要重新运行挖掘算法提取关联规则,并且在有限的系统资源下尽可能提高挖掘效率和减少挖掘成本。论文提出了一种在流数据挖掘算法中关联规则提取时机的确定算法KRPB(Key Runtime Point Boundary), KRPB只对原始数据集进行一次扫描,在后续周期扫描中利用前次扫描的保存结果进行增量更新即可,在相邻两次原始数据集上取得支撑度附近的频繁项集参与两次数据集的变化差异程度的估计计算,从而确定是否需要运行挖掘算法进行数据模式的提取。 4)为了对流数据特性进行有效监控,即如何可视化流数据指标之间的内在本质联系,论文对流数据的可视化数据挖掘进行了研究,即如何用可视化的方式来动态展示流数据之间的内在关系,在这个基础上提出了一种流数据增量式多维可扩展可视化挖掘算法IMDS(Incremental Multi-dimension Scaling)。IMDS通过数据表现的特征形状进行聚类,并且聚类结果会随着时间的推移用动态可视化的方式实时展现。通过仿真实验表明,IMDS算法相比传统的MDS(Multi-dimension Scaling)算法和简易型SIMPLEX优化算法在流数据挖掘中可以明显地提高可视化挖掘效率和可视化效果。 5)针对流数据指标的聚合在网络中的应用,论文对网络底层数据流如何映射到业务层进行了研究,通过研究发现,如果能对底层数据流进行实时的聚合和分析,就能使得业务提供者实时观察当前网络和系统的健康状况,进一步能觉察到用户对当前业务的体验状况。论文参考TMF(Telecommunication Management Forum)规范的基础上,提出了K2K(KPI toKQI)算法,使得不同量纲的流数据指标可以平滑聚合到同一指标。但是在以上的聚合中存在如何分配流数据指标权重关系的问题,对此论文进一步提出了一种针对SLA(Service Level Agreement)数据特性的模式提取算法SLAEP(SLA Extract Patterns).本算法主要抽取出网络数据流中关键性能指标和关键质量指标,根据用户的体验进行机器学习发现模式,利用将多维数据转化成多维空间的映射点,有效的避免了求多个指标之间关联度的问题,制定出一种实际运行中可以自动归纳总结满足业务SLA策略的数据度量方法,并且利用可视化数据展示的方式让用户很容易辨别得到的模式是否是可信的,从而调整系统的输入参数以便得到更加准确的结果。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 汪洪涛,刘文才;数据挖掘技术关联规划算法在营销策略中的应用[J];工业控制计算机;2003年09期
2 邓慧;赖思渝;杨颖;刘雪梅;;关联规则在高校图书馆中的应用研究[J];医学信息;2008年07期
3 任荣;;浅析基于遗传算法的关联规则数据挖掘技术[J];电脑知识与技术;2009年03期
4 马丽生;邓辉文;齐逸;;一种新的最大频繁项目集挖掘算法[J];计算机应用;2006年11期
5 倪坚;;对Apriori算法的一个改进[J];大连交通大学学报;2007年02期
6 郭跃斌;翟延富;董祥军;;序列模式的关联规则在彩票分析中的应用研究[J];山东轻工业学院学报(自然科学版);2008年01期
7 沈元怿;;一种关联规则挖掘方法在客户分析中的应用[J];现代计算机;2005年12期
8 喻金平;齐先锋;罗珊梅;;一种c#实现改进的关联规则挖掘算法[J];科技广场;2006年02期
9 方忠祥;屠航;;基于关联规则的服装销售演示系统设计[J];广西轻工业;2007年05期
10 全智龙;涂婧璐;陈霞芳;;关联规则在贫困学生信息库的应用[J];科技广场;2007年05期
11 宋欣;王志航;廉明欢;;多属性数据挖掘研究中的关联规则应用[J];计算机系统应用;2007年08期
12 阮璐;肖冬荣;周杰;高风;;利用组合支持度进行关联规则的挖掘[J];微计算机信息;2008年09期
13 焦亚冰;;基于关联规则挖掘算法的改进研究[J];太原师范学院学报(自然科学版);2008年02期
14 王宏雁;王琪;;多层多维关联规则在交通事故研究中的应用[J];交通科学与工程;2009年01期
15 肖冬荣;杨磊;;基于遗传算法的关联规则数据挖掘[J];通信技术;2010年01期
16 韩君,张焕国,罗敏;一种基于数据挖掘的分布式入侵检测系统[J];计算机工程与应用;2004年08期
17 欧阳利军;龚成;;一种基于关联规则的Web日志数据挖掘的实现方法[J];现代计算机;2006年02期
18 黄春利;石金彦;;关联规则挖掘方法在旋转机械故障诊断中的应用[J];水利电力机械;2007年01期
19 周宇;叶庆卫;;基于SQL查询语言的关联规则提取算法研究与实现[J];科技信息(科学教研);2007年35期
20 朱亦斌,马亮;数据挖掘关联规则算法探讨[J];教育信息化;2000年03期
中国重要会议论文全文数据库 前10条
1 王娜娜;谢炜;李烨;;邳州慢性病与生活习惯等因素的关联规则分析[A];中国生物医学工程学会成立30周年纪念大会暨2010中国生物医学工程学会学术大会壁报展示论文[C];2010年
2 郭道宁;舒华英;;数据挖掘在电信运营市场决策支持中的应用[A];中国通信发展与经营管理学术研讨会论文集[C];2003年
3 王寅北;夏庆;孙志挥;;FSETM:一种面向集合关联规则的数据挖掘新算法[A];第十五届全国数据库学术会议论文集[C];1998年
4 邱勇;兰永杰;刘晓华;;高效FP-TREE创建算法[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
5 郭建文;黄燕;印鉴;杨小波;梁兆辉;;建立中风病“阴阳类证”辨证规范的数据挖掘研究[A];中华医学会第十三次全国神经病学学术会议论文汇编[C];2010年
6 郭建文;黄燕;印鉴;杨小波;梁兆辉;;建立中风病阴阳类证辨证规范的数据挖掘研究[A];2010中国医师协会中西医结合医师大会摘要集[C];2010年
7 王翠茹;王少华;;关联规则经典算法的一种改进[A];中国通信学会第五届学术年会论文集[C];2008年
8 郭学军;陈晓云;;粗集方法在数据挖掘中的应用[A];第十六届全国数据库学术会议论文集[C];1999年
9 徐慧;;基于Web的文献数据挖掘[A];第十七届全国数据库学术会议论文集(技术报告篇)[C];2000年
10 于波;王宏鼎;唐世渭;童云海;;基于数据挖掘的数据质量分析研究[A];全国第16届计算机科学与技术应用(CACIS)学术会议论文集[C];2004年
中国博士学位论文全文数据库 前10条
1 佘春东;数据挖掘算法分析及其并行模式研究[D];电子科技大学;2004年
2 王曙燕;医学图像智能分类算法研究[D];西北大学;2006年
3 宋世杰;基于序列模式挖掘的误用入侵检测系统及其关键技术研究[D];国防科学技术大学;2005年
4 倪萍;流数据挖掘关键技术研究[D];北京邮电大学;2010年
5 姜保庆;关于弱比例规则的挖掘及推理研究[D];西南交通大学;2005年
6 李实;中文网络客户评论中的产品特征挖掘方法研究[D];哈尔滨工业大学;2009年
7 朱正祥;领域驱动知识发现方法研究[D];大连理工大学;2010年
8 翟坤;基于数据挖掘的成本管理方法研究[D];大连理工大学;2012年
9 孙丽;工艺知识管理及其若干关键技术研究[D];大连交通大学;2005年
10 胡志坤;复杂有色金属熔炼过程操作模式智能优化方法研究[D];中南大学;2005年
中国硕士学位论文全文数据库 前10条
1 黎卫英;数据挖掘在中职幼教课程改革中的应用[D];福建师范大学;2009年
2 郑宏;数据挖掘可视化技术的研究与实现[D];西安电子科技大学;2010年
3 梁小鸥;数据挖掘在高职教学管理中的应用[D];华南理工大学;2011年
4 李瑞华;数据挖掘在煤矿安全监测中的应用[D];西安电子科技大学;2010年
5 王浩;数据挖掘在上海市职业能力考试院招录考试优化管理项目中的运用研究[D];华东理工大学;2012年
6 廖赛恩;养生方数据挖掘分析系统的研制[D];湖南中医药大学;2010年
7 唐松;基于数据挖掘的高校评教系统设计与实现[D];电子科技大学;2010年
8 徐路;基于决策树的数据挖掘算法的研究及其在实际中的应用[D];电子科技大学;2009年
9 叶小旺;面向社区服务的数据挖掘关键技术研究与实现[D];西安电子科技大学;2009年
10 洪江龙;基于数据挖掘的本科专业评估管理信息系统应用研究[D];上海交通大学;2010年
中国重要报纸全文数据库 前10条
1 李开宇 黄建军 田长春;把“数据挖掘”作用发挥出来[N];中国国防报;2009年
2 华莱士;“数据挖掘”让银行赢利更多[N];国际金融报;2003年
3 记者 晏燕;数据挖掘让决策者告别“拍脑袋”[N];科技日报;2006年
4 □中国电信股份有限公司北京研究院 张舒博 □北京邮电大学计算机科学与技术学院 牛琨;走出数据挖掘的误区[N];人民邮电;2006年
5 张立明;数据挖掘之道[N];网络世界;2003年
6 中圣信息技术有限公司 李辉;数据挖掘在CRM中的作用[N];中国计算机报;2001年
7 田红生;数据挖掘在CRM中的应用[N];中国经济时报;2002年
8 王广宇;数据挖掘 加速银行CRM一体化[N];中国计算机报;2004年
9 周蓉蓉;数据挖掘需要点想像力[N];计算机世界;2004年
10 张舒博;数据挖掘 提升品牌的好帮手[N];首都建设报;2009年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978