收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

数据流挖掘若干技术研究及其在电信行业的应用

郭立超  
【摘要】:随着计算机技术的发展、网络应用的普及、数字化通信技术的广泛应用,数据流逐渐成为电信行业中的主要数据类型之一。与传统数据类型相比,数据流具有有序、高频更新以及潜在无边界等特性,难以使用传统的数据挖掘方法进行分析,这给数据挖掘技术及其在电信行业的应用带来了挑战。 本文以电信行业实际应用为背景,以基于数据流全局数据特征的建模分析方法取代目前被广泛采用的以局部数据为样本的数据流挖掘算法,以提高时间效率与预测精度。针对数据流频繁项集挖掘主题,提出基于最大频率时间窗模型的GGACFI-MFW算法,实现对数据流全局频繁项集的在线挖掘;针对数据流分类预测问题,提出基于数据流频繁模式的CBMP算法,实现对带有概念漂移的数据流进行在线分类预测;针对数据流趋势预测问题,提出最大最小频率时间窗模型的MM-FTP算法,实现对数据流数据对象频繁度变化趋势的实时监控及预测;结合电信企业工程实践经验,设计一套电信业数据流商业智能管理系统,实现对电信数据流的实时监控与在线分析。 本文的主要研究内容和贡献包括: Ⅰ.针对数据流频繁项集挖掘问题,提出GGACFI-MFW (Generating Global Approximate Frequent Itemsets on Max-Frequency Window model)算法,实现准确、高效地挖掘全局频繁项集;设计一种新的最大频率模式树MFP-Tree (Max-Frequency Pattern Tree)结构存储概要信息,采用自适应的方法为每个数据项集单独划分时间窗口;提出一种新的选择性更新机制,只对最新到达的事务子集进行更新,通过候选集控制对频繁模式树的横向遍历,提高算法更新效率。与现有频繁项集挖掘算法相比,GGACFI-MFW算法不仅时间效率高,且能够根据数据自身特性,找到更多的频繁项集。 Ⅱ.针对带有概念漂移的数据流在线分类问题,提出一种基于全局频繁模式的数据流分类算法CBMP Classification Based on Max-frequency Pattern),将概要数据存储于一种新的最大频率模式分类树CMFP-Tree (Classification on Max-Frequency Pattern Tree)中,使用模糊的方法构建分类器,在线更新概要信息与分类器,实现对数据流数据的实时分类预测。在概念漂移特征显著的情况下,CBMP算法的预测精度与时间效率均高于现有其他数据流分类算法。 Ⅲ.针对数据流数据对象的频繁度变化趋势预测问题,在最大频率模式树MFP-Tree的基础上设计一种新的最大最小频率模式树MMFP-Tree (Max-Min-Frequency Pattern Tree),存储数据流频繁趋势预测算法中所需要的概要信息;提出一种新的数据对象频繁度变化趋势衡量指标——频繁度变化率,对数据对象的频繁度变化趋势进行定量描述;提出一种预测数据对象频繁度变化趋势的最大最小频繁趋势预测算法MM-FTP (Max-Min-Frequency Tendency Prediction),能够在有限的空间内高效、准确地找到数据对象的频繁度变化趋势;将连续属性离散化,MM-FTP算法同样能够预测传统的指数型数据流的变化趋势;与基于频繁模式的分类预测算法CBMP结合,该算法能够对分类器置信度变化趋势进行预测。 Ⅳ.针对电信行业数据流在线分析处理需求,结合静态数据挖掘在电信行业的应用实例及电信业数据挖掘方法论,设计实现了一套针对电信行业的数据流商业智能管理系统,将数据流频繁项集挖掘技术、数据流在线分类预测技术、数据流趋势预测技术成功应用于电信行业用户业务套餐组合在线交叉销售及预付费用户欠费、流失实时监控预警的实际商业应用中。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 刘芝怡;尹飞鸿;;基于FP-矩阵的频繁项集挖掘算法[J];中国制造业信息化;2011年15期
2 苏勇;郑昭华;范玉玲;;数据流中的频繁项集挖掘[J];信息技术;2011年06期
3 范黎林;林卫;;矩阵约束下的频繁项集挖掘方法研究[J];计算机工程与应用;2011年21期
4 刘海蓉;闫仁武;;一种改进的加权关联规则挖掘算法[J];现代电子技术;2011年12期
5 黄名选;马瑞兴;兰慧红;;面向查询扩展的特征词频繁项集挖掘算法[J];现代图书情报技术;2011年04期
6 宋威;刘文博;李晋宏;;基于动态裁剪频繁模式树的频繁项集并发挖掘算法[J];山东大学学报(工学版);2011年04期
7 张浩;景凤宣;谢晓尧;;基于数据挖掘关联规则Apriori改进算法的入侵检测系统的研究[J];贵州师范大学学报(自然科学版);2011年03期
8 刘上力;杨清;;基于兴趣度剪枝的Apriori优化算法[J];郑州轻工业学院学报(自然科学版);2011年04期
9 朱燕燕;;一种改进的Apriori算法的研究[J];科技信息;2011年15期
10 崔建;李强;王国师;;一种针对大型事务数据库的关联规则挖掘算法[J];空军雷达学院学报;2011年03期
11 程小辉;肖富元;饶建辉;李泽球;;基于局域网的自适应修复的高可用数据流处理[J];计算机工程与设计;2011年07期
12 苏勇;范玉玲;;可变滑动窗口在数据流频繁模式挖掘上的应用[J];计算机系统应用;2011年06期
13 张文煜;周满元;;数据流中一种基于滑动窗口的前K个频繁项集挖掘算法[J];计算机应用研究;2011年07期
14 戎翔;李玲娟;;基于MapReduce的频繁项集挖掘方法[J];西安邮电学院学报;2011年04期
15 蔡红;陈荣耀;陈波;;关联规则挖掘最小支持度阀值设定的优化算法研究[J];微型电脑应用;2011年06期
16 杜琳;陈云亮;朱静;;一种新的在图像关联规则挖掘中产生频繁项集的方法[J];微电子学与计算机;2011年07期
17 沙贝贝;谢丽聪;;一种基于频繁项集的搜索引擎聚类浏览算法[J];广西师范大学学报(自然科学版);2011年02期
18 赵明茹;郭键;孙媛;;基于线性链表存储结构的Apriori改进算法[J];科学技术与工程;2011年23期
19 刘上力;杨清;;基于改进FP树的项项正相关关联规则挖掘[J];计算机工程与科学;2011年07期
20 夏英;张俊;王国胤;;时空关联规则挖掘算法及其在ITS中的应用[J];计算机科学;2011年09期
中国重要会议论文全文数据库 前10条
1 张冬冬;李建中;王伟平;郭龙江;;分布式复式数据流的处理[A];第二十一届中国数据库学术会议论文集(研究报告篇)[C];2004年
2 杨晓明;王晨;汪卫;张守志;施伯乐;;频繁项集的精简表达与还原问题研究[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
3 魏永超;陈立军;;数据流上复杂事件处理系统Eagle的设计与实现[A];第二十五届中国数据库学术会议论文集(一)[C];2008年
4 刘马金;王鹏;汪卫;;一种轮转的数据流频繁项挖掘算法[A];NDBC2010第27届中国数据库学术会议论文集(B辑)[C];2010年
5 蔡致远;熊方;钱卫宁;周傲英;;核合并分析及其在数据流密度估计上的应用[A];第二十届全国数据库学术会议论文集(研究报告篇)[C];2003年
6 谢志军;陈红;;EFIM——数据流上频繁项集挖掘的高性能算法[A];第二十三届中国数据库学术会议论文集(技术报告篇)[C];2006年
7 李坤;王永炎;王宏安;;一种基于乐观裁剪策略的挖掘数据流滑动窗口上闭合频繁项集的算法[A];第二十五届中国数据库学术会议论文集(二)[C];2008年
8 邹远娅;周皓峰;王晨;汪卫;施伯乐;;FSC——利用频繁项集挖掘估算视图大小[A];第二十一届中国数据库学术会议论文集(研究报告篇)[C];2004年
9 尹婷;李红燕;;窗口模型下数据流查询流水化执行的研究[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
10 宋宝燕;陆岩;张俊宁;;数据流上的一种适应性查询优化及调度策略[A];第二十三届中国数据库学术会议论文集(研究报告篇)[C];2006年
中国博士学位论文全文数据库 前10条
1 郭立超;数据流挖掘若干技术研究及其在电信行业的应用[D];浙江大学;2011年
2 毛伊敏;数据流频繁模式挖掘关键算法及其应用研究[D];中南大学;2011年
3 屠莉;流数据的频繁项挖掘及聚类的关键技术研究[D];南京航空航天大学;2009年
4 由育阳;数据流容错挖掘算法研究[D];哈尔滨工程大学;2011年
5 冯博;基于半结构化数据的数据流挖掘算法研究[D];北京邮电大学;2011年
6 朱小栋;基于扩展预测模型标记语言的数据流挖掘系统建模研究[D];南京航空航天大学;2009年
7 吴枫;数据流挖掘若干关键技术研究[D];国防科学技术大学;2009年
8 于翔;基于网格的数据流聚类方法研究[D];哈尔滨工程大学;2010年
9 李军;基于用户行为挖掘的数据流管理技术研究[D];北京邮电大学;2012年
10 王修君;高效数据流和海量文本处理算法研究[D];中国科学技术大学;2011年
中国硕士学位论文全文数据库 前10条
1 王立波;基于滑动窗口的数据流频繁模式挖掘算法研究[D];燕山大学;2010年
2 李辉;数据流上的频繁项集挖掘算法研究[D];北京交通大学;2007年
3 詹海鹏;数据流频繁项集挖掘系统的研究[D];武汉理工大学;2011年
4 王培义;在线挖掘数据流闭合频繁项集算法的研究[D];哈尔滨工程大学;2012年
5 李红霞;数据流频繁项集挖掘算法的研究[D];东北大学;2009年
6 何艳珊;并行化频繁项集挖掘及其在数据流中的研究[D];兰州大学;2010年
7 李晓卿;数据流中闭频繁项集挖掘算法的研究[D];东北大学;2009年
8 陈力捷;数据流频繁项挖掘系统的研究和实现[D];浙江大学;2007年
9 朱剑波;一种基于垂直划分的数据流频繁项集挖掘算法[D];哈尔滨工程大学;2011年
10 豆飞飞;基于Sketch的数据流频繁项集挖掘研究[D];西安电子科技大学;2012年
中国重要报纸全文数据库 前9条
1 计算机世界实验室 吴挺;Intel的专业“核动力”[N];计算机世界;2007年
2 北京 冬梅;P4时代真的来了吗[N];中国电脑教育报;2001年
3 ;立体防护“中枢神经系统”[N];网络世界;2003年
4 ;NetScreen-IDP 500 高端入侵检测与防护设备[N];计算机世界;2003年
5 甘久斌;如何有效管理宽带用户[N];通信产业报;2002年
6 ;港湾网络多业务万兆城域网解决方案[N];人民邮电;2003年
7 李勇;降低投资70%[N];中国计算机报;2003年
8 记者 郭姜宁;企业级电子商务资金流网络管理系统问世[N];科技日报;2001年
9 ;在移动互联网里推广IPv6[N];人民邮电;2002年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978