收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

数据流聚集查询和频繁模式挖掘的研究

刘学军  
【摘要】: 数据流模型的出现对传统的数据管理技术提出了巨大的挑战,由于数据的流动性和无限性等特点,已有的数据库技术无法对数据流数据进行有效的管理,因此,必须进行数据流管理新技术的研究。数据流管理技术已经引起了数据库界的广泛关注,成为当前的一个研究热点。研究数据流相关技术不仅有重要的学术价值,而且在传感器网络、气象监测与分析、移动物体位置跟踪、股票分析、邮件过滤、网络监控与安全等领域有着巨大的应用前景。本文对数据流管理系统和数据流挖掘中的若干关键问题进行了深入探索,主要有以下内容: (1)数据流管理系统的体系结构:面向高速数据流,提出了一个基于硬件预处理的数据流管理系统体系结构。目前已有的原型系统都是从查询优化、系统调度等方面来提高数据的处理速度,在高速数据流环境下都存在明显的不足,因此,本文从一个全新的角度构建新一代数据流管理系统,在体系结构上采用软硬件协同的思想和前端硬件预处理技术,实现数据的高速处理。 (2)高速数据流聚集查询:目前已有的聚集算法绝大多数是采用近似技术,以牺牲精度来换取速度的提高。随着硬件技术的快速发展和硬件成本的迅速下降,软硬件协同技术逐渐引起了人们的关注。本文提出了一种软硬件协同的高速数据流聚集查询方法,发挥了硬件在处理速度上的优势和软件在灵活性方面的长处,也研究了提高查询资源共享度的方法。 (3)分布式数据流增量聚集查询:分布式处理是数据流管理系统发展的必然趋势。而在分布式系统中,传输量往往是系统的主要瓶颈,因此,本文研究并提出了一种分布式数据流增量聚集方法,可以显著地降低系统的通信量。 (4)数据流频繁闭合模式:频繁闭合模式能够唯一地决定所有的频繁模式及其准确的支持度,并且往往数量比频繁模式小几个数量级,在实际中更容易理解和应用。本文研究了动态数据流环境下的频繁闭合模式挖掘,目前还很少有这方面的研究报道。滑动窗口和界标窗口是数据流环境下两种最重要的窗口类型,本文分别研究并提出了基于滑动窗口和基于界标窗口的数据流频繁闭合模式挖掘新算法,算法具有较好的适应性和可扩展性,用户可以根据需要,通过调整允许误差在执行效率和结果精度方面取得平衡。 (5)数据流变化检测:在数据流环境下,模式的改变往往比正常模式提供更多有价值的信息,因此,数据流变化检测是数据流挖掘的核心问题之一。本文运用信息熵理论,从频繁项集角度出发,提出了一种基于最大频繁项集信息熵的数据流变化检测方法,不仅可以反映关联规则挖掘中频繁模式的变化,而且也可以有效地反映数据集的改变。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 姚福来;吴圣雄;;系统结构和参数辨识的一种新方法[J];自动化仪表;1989年01期
2 凌公望;EWSD交换系统结构及进网后的问题[J];电信科学;1991年06期
3 罗建勋;彩铃业务的实现及系统故障分析[J];通信管理与技术;2005年04期
4 符意德,任力伟,陈宜磊;一种基于Web技术的SCADA系统结构(英文)[J];西安工业学院学报;2005年02期
5 郭兵;周梨;;变频调速技术在垃圾焚烧中的应用及实现的相关技术讨论[J];变频器世界;2005年04期
6 万江平;黄德毅;安诗芳;;信息时代中国CIO的生存之道[J];科技管理研究;2006年04期
7 林德滨;高强;;LPR的系统结构及相关障碍处理[J];科技资讯;2007年03期
8 缪学勤;;十一种工业实时以太网系统结构概论[J];国内外机电一体化技术;2008年05期
9 徐选华;陈晓红;;复杂大群体决策支持系统结构及实现技术研究[J];计算机工程与应用;2009年13期
10 李德刚;;基于IEC 61850标准的数字化变电站[J];农村电气化;2009年11期
11 李德华;黄钢;熊才权;杨捷;;多Agent研讨平台的研究[J];计算机工程与应用;2009年36期
12 李培;;浅探变电站综合自动化系统[J];广东科技;2009年24期
13 熊莉;;变电站综合自动化在工业企业中的应用[J];机电信息;2011年18期
14 李宏宁;白廷柱;马帅;许凯达;冯洁;杨卫平;;光线跟踪方法实现红外视景成像仿真系统[J];系统仿真学报;2011年07期
15 张鹏;;大型新闻网站内容管理系统的运维管理策略[J];信息与电脑(理论版);2011年06期
16 PC Treleaven ,何玉兰;第五代计算机系统结构[J];计算机工程与科学;1985年02期
17 孙成政,慈云桂;逻辑程序并行执行模型及其体系结构的研究[J];国防科技大学学报;1987年02期
18 单德根;郑守淇;贾彪;钱德沛;赵银亮;戴东来;;智能计算机LISP-M1存储体系结构[J];西安交通大学学报;1988年03期
19 古新生;顾学春;王东宇;;为计算机综合自动化制造系统建立智能化的全局数据模型[J];西安交通大学学报;1988年03期
20 程经霖;论90年代计算机体系结构的发展[J];系统工程与电子技术;1990年07期
中国重要会议论文全文数据库 前10条
1 曾笃军;;浅谈LKJ2000监控装置警惕功能新技术[A];河南省第五届学术年会铁道分会场专集[C];2009年
2 邓鹏程;谌斐鸣;杨丹丹;毛琦;王香玲;李传川;白莹;;三板溪电厂计算机监控系统设计及应用[A];中国水力发电工程学会信息化专委会2009年学术交流会论文集[C];2009年
3 林福永;吴健中;;一般系统结构理论及其应用——一般系统结构模型及其分析(Ⅲ)[A];1995年中国控制会议论文集(下)[C];1995年
4 曹利军;杜世勋;;循环经济与技术创新:基于企业层面的分析[A];中国环境保护优秀论文集(2005)(上册)[C];2005年
5 李旭;;货车管理车号刷新系统[A];铁道部信息技术中心成立30周年暨铁路运输管理信息系统(TMIS)工程全面竣工投产TMIS工程建设论文专辑(二)[C];2005年
6 杨峰雅;王锋;;GPS车载终端结构及数据流研究[A];武汉市第二届学术年会、通信学会2006年学术年会论文集[C];2006年
7 李兴德;叶酉荪;李廷全;;网格系统软件构建方法研究[A];2008通信理论与技术新发展——第十三届全国青年通信学术会议论文集(下)[C];2008年
8 林福永;吴健中;;一般系统结构理论及其应用——一般系统结构模型及其分析(Ⅱ)[A];1995年中国控制会议论文集(下)[C];1995年
9 林福永;吴健中;;一般系统结构理论及其应用——一般系统结构模型及其分析(Ⅳ)[A];1995年中国控制会议论文集(下)[C];1995年
10 张洪宇;刘志明;;客运专线综合安全防灾监控系统的研究[A];铁道科学技术新进展——铁道科学研究院五十五周年论文集[C];2005年
中国博士学位论文全文数据库 前10条
1 刘学军;数据流聚集查询和频繁模式挖掘的研究[D];东南大学;2006年
2 金澈清;数据流上若干查询处理算法的研究[D];复旦大学;2005年
3 王勇;WEB数据挖掘研究[D];西北工业大学;2006年
4 闫莺;多数据类型的数据流查询处理及优化[D];复旦大学;2008年
5 周黔;高性能数据流模式发现算法及其应用研究[D];浙江大学;2008年
6 陈华辉;基于遗忘特性的数据流概要结构及其应用研究[D];复旦大学;2008年
7 刘洋;水产业分销电子商务管理平台的构建与应用研究[D];中国海洋大学;2009年
8 张晨;数据流聚类分析与异常检测算法[D];复旦大学;2009年
9 林涛;基于精确时钟协议的网络运动控制系统的研究[D];河北工业大学;2007年
10 梁凯春;面向劣构问题求解的知识管理方法及系统研究[D];华中科技大学;2007年
中国硕士学位论文全文数据库 前10条
1 马合;共用物流信息平台系统研究[D];吉林大学;2005年
2 李晶才;共用物流信息平台系统设计与关键技术研究[D];吉林大学;2007年
3 傅林;虚拟仪器B型超声波诊断仪系统结构与软硬件设计[D];四川大学;2003年
4 周鹏;商业银行信用风险预警模型及支持系统研究[D];华中科技大学;2006年
5 张园;基于领域本体的市场机遇发现模型与支持系统[D];华中科技大学;2006年
6 丁敬达;数字城市空间元数据服务系统构建研究[D];西安科技大学;2008年
7 王金友;钢铁企业环境自动监测系统的设计与研究[D];复旦大学;2008年
8 龚雷;汽车物流成本优化模型研究[D];武汉理工大学;2009年
9 余晓平;银行数据仓库的设计与实现[D];新疆大学;2006年
10 钟思胜;基于GIS的南海环境管理信息系统的研究[D];中国海洋大学;2008年
中国重要报纸全文数据库 前10条
1 彭力田;电子商务的系统结构[N];中国石油报;2001年
2 索道;呼叫中心的系统结构[N];金融时报;2001年
3 索道;呼叫中心的系统结构[N];金融时报;2001年
4 ;天津97工程改造采用新型系统结构[N];人民邮电;2001年
5 ;10G传输平台的系统结构[N];人民邮电;2000年
6 中国信誉论坛组委会;用系统结构推进信誉机制[N];中国质量报;2005年
7 ;清华同方统一北京地税系统结构[N];中国计算机报;2002年
8 吉林 孙德印;夏普SP-90机芯总线系统结构和调整[N];电子报;2007年
9 郑宗昌 施晓焰 杨树华;“三队一组”:系统结构的力量[N];人民公安报;2002年
10 SAP公司电信行业总监 雷霆;财务管理系统的系统结构[N];人民邮电;2004年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978