收藏本站
《大连理工大学》 2006年
收藏 | 手机打开
二维码
手机客户端打开本文

基于网格和密度的数据流聚类方法研究

单世民  
【摘要】:随着硬件技术的不断发展,人们遇到了大量无法利用数据库进行存储的海量数据。这些数据数量非常巨大,并且产生速度很快。为了对这些数据进行有效处理,人们提出了数据流数据模型。作为数据挖掘在新环境的延伸,面向数据流的数据挖掘(简称数据流挖掘)问题已成为当前国内外研究的焦点,而数据流聚类方法则是数据流挖掘的一个重要研究方向。 本文的研究目标是以研究传统聚类方法为基础,通过对传统方法的改进,实现对数据流的聚类处理。通过研究,发现基于网格和密度的聚类方法具有很多适用于处理数据流的特征,有利于实现对数据流的聚类处理。因此,本文在对基于网格和密度的传统聚类方法进行研究与改进的基础上,从聚类过程所处理数据集合的动态性角度出发,将基于网格和密度的数据流聚类方法分类为静态方法和动态方法,对其进行了一系列研究。 围绕着数据流聚类问题,论文主要做了以下四方面的理论研究及应用工作: 1.对基于网格和密度的数据流静态聚类方法进行了讨论,通过对传统的基于网格和密度的聚类方法进行分析与改进,提出了一种新的网格单元密度计算方法。研究发现,已有方法基本使用数据点计数方式计算网格单元的密度。这种方法会造成数据点对其周围空间影响信息(influence)的部分丢失,容易导致同属一类的相邻数据点被分配到不同的数据类中。针对此问题,提出了“贡献度”概念。“贡献度”即是指在网格化的特征空间中,数据点对相邻网格单元(即数据点的周围空间)的影响程度。在此基础上,提出了一种新的网格单元密度计算方法。实验结果证明,与利用数据对象个数计算网格单元密度的方法相比,这种方法能够有效减少数据点对周围空间影响信息的丢失。 2.针对已有的基于网格和密度的聚类方法在稠密单元判定方式以及聚类生成过程方面的不足进行了改进,最终提出了一种新的基于网格和密度的微粒群混合聚类方法。现有方法基本使用单一阈值来判定稠密网格单元。这种方法限制了对聚类数据与噪音数据进行区分的能力。同时,已有方法都将首个遇到的稠密单元作为聚类生成过程的起始点。这种操作对生成的数据类缺乏选择性,使数据类的生成顺序具有不确定性,进而影响对结果的可控性。针对这些问题,使用了新的参数—“核心单元密度下限”。此参数限定了聚类中密度极大值的最小允许取值,对能够生成的聚类进行了限制,增强了区分聚类数据和噪音数据的能力。同时,通过将微粒群算法引入聚类过程,使得数据类能够根据本身的密度极大值有序生成,解决了聚类生成顺序的不确定性问题。最终,提出了基于网格和密度的微粒群混合聚类方法(CGDP)。 3.讨论了动态的网格空间环境下对聚类进行追踪的方法,提出了动态环境下改进的自适应微粒群算法。通过将网格单元密度转化评估函数取值的方式,把对聚类密度极
【学位授予单位】:大连理工大学
【学位级别】:博士
【学位授予年份】:2006
【分类号】:TP393.01

【引证文献】
中国期刊全文数据库 前6条
1 米源;杨燕;李天瑞;;基于密度网格的数据流聚类算法[J];计算机科学;2011年12期
2 邢长征;张国凯;;基于自适应网格划分的数据流聚类算法[J];计算机工程与科学;2011年10期
3 何勇;刘青宝;;基于动态网格的数据流聚类分析[J];计算机应用研究;2008年11期
4 潘云伟;成卫;肖海承;赵明翠;;基于粒子群优化算法的交通数据流聚类分析[J];科学技术与工程;2010年28期
5 邢长征;王飞;王丽丽;;密度网格参数自适应的数据流聚类算法[J];计算机科学与探索;2011年10期
6 李杨;檀柏红;;基于点击流的频繁模式聚类算法研究[J];天津科技大学学报;2011年03期
中国硕士学位论文全文数据库 前10条
1 丁金凤;基于网格与密度的数据流聚类算法研究[D];哈尔滨工程大学;2010年
2 屠强;流数据的层次聚类和频繁模式的挖掘算法研究[D];南京理工大学;2011年
3 米源;基于密度网格的数据流聚类算法研究[D];西南交通大学;2011年
4 黄莉;基于聚类的入侵检测方法研究[D];安徽理工大学;2010年
5 潘云伟;交通信号配时优化仿真评价技术研究[D];昆明理工大学;2011年
6 李子文;滑动窗口内基于密度网格的数据流聚类算法研究[D];辽宁工程技术大学;2010年
7 楚红涛;基于数据流双层结构聚类挖掘的研究[D];华北电力大学(河北);2008年
8 赵慧;基于网络方法的聚类算法研究[D];山东师范大学;2010年
9 何江燕;基于数据流的聚类分析算法研究[D];兰州交通大学;2010年
10 郭文彦;基于相似度及网格划分优化的数据流聚类算法研究[D];燕山大学;2012年
【参考文献】
中国期刊全文数据库 前10条
1 赵艳厂,谢帆,宋俊德;一种新的聚类算法:等密度线算法[J];北京邮电大学学报;2002年02期
2 阳博,龙鹏飞;凝聚分层聚类算法在入侵检测中的应用[J];长沙电力学院学报(自然科学版);2005年03期
3 高新波,裴继红,谢维信;模糊c-均值聚类算法中加权指数m的研究[J];电子学报;2000年04期
4 刘静,钟伟才,刘芳,焦李成;免疫进化聚类算法[J];电子学报;2001年S1期
5 罗敏,王丽娜,张焕国;基于无监督聚类的入侵检测方法[J];电子学报;2003年11期
6 彭喜元,彭宇,戴毓丰;群智能理论及应用[J];电子学报;2003年S1期
7 梁铁柱,李建成,王晔;一种应用聚类技术检测网络入侵的新方法[J];国防科技大学学报;2002年02期
8 王晓峰,沈庆浩;利用聚类算法找出新的攻击[J];华东理工大学学报;2004年03期
9 朱倩,黄志军;一种改进的基于密度和网格的高维聚类算法[J];舰船电子工程;2005年05期
10 周水庚,周傲英,曹晶;基于数据分区的DBSCAN算法[J];计算机研究与发展;2000年10期
中国博士学位论文全文数据库 前1条
1 王莉;数据挖掘中聚类方法的研究[D];天津大学;2004年
【共引文献】
中国期刊全文数据库 前10条
1 张振伟;马建琴;程瑶;;基于模糊对向传播神经网络的水库径流预报[J];安徽农业科学;2010年01期
2 郇正军;赵国富;;基于土地利用的空间数据挖掘系统的设计与实现[J];安徽农业科学;2011年07期
3 苏瑞;;基于层次的模糊K均值聚类算法研究[J];安阳师范学院学报;2010年02期
4 蔡颖琨,谢昆青,马修军;屏蔽了输入参数敏感性的DBSCAN改进算法[J];北京大学学报(自然科学版);2004年03期
5 胡奎;汤帜;高良才;;基于多级特征提取的中文文本图像压缩算法[J];北京大学学报(自然科学版);2010年06期
6 刘敬伟;徐美芝;;Bezdek型模糊属性C均值聚类算法[J];北京航空航天大学学报;2007年09期
7 李岩;王惠文;叶明;刘丹;;基于Squeezer算法的大规模矩阵聚类分析[J];北京航空航天大学学报;2009年12期
8 卢宏建;高永涛;吴顺川;潘贵豪;;石人沟铁矿露天转地下开采生产规模优化[J];北京科技大学学报;2008年09期
9 徐远清;陈祥光;王丽;张启鸿;;一种改进的神经网络集成法预测PMV指标[J];北京理工大学学报;2007年02期
10 赵艳厂,宋梅,谢帆,宋俊德;用于不同密度聚类的多阶段等密度线算法[J];北京邮电大学学报;2003年02期
中国重要会议论文全文数据库 前10条
1 ;Incremental Clustering for Categorical Data Using Clustering Ensemble[A];第二十九届中国控制会议论文集[C];2010年
2 田松;侯妙乐;王晏民;郭宏;;基于面向属性归纳决策树的馆藏壁画病害信息提取[A];第二届“测绘科学前沿技术论坛”论文精选[C];2010年
3 杨晓霞;朱庆;李海峰;;知识导航的遥感信息处理服务分类选择方法[A];中国测绘学会第九次全国会员代表大会暨学会成立50周年纪念大会论文集[C];2009年
4 田松;;面向属性归纳的决策树算法在壁画病害信息提取方面的应用[A];2009`中国地理信息产业论坛暨第二届教育论坛就业洽谈会论文集[C];2009年
5 于健;陈子军;李霞;李炜;;一种新的多密度聚类算法[A];2007北京地区高校研究生学术交流会通信与信息技术会议论文集(上册)[C];2008年
6 王志刚;钱兴坤;王东亮;;基于PCA的多信息源实时网络入侵检测[A];第二十一次全国计算机安全学术交流会论文集[C];2006年
7 张应辉;饶云波;;最小差异度聚类在异常入侵检测中的应用[A];第二十一次全国计算机安全学术交流会论文集[C];2006年
8 黄良辉;陈常青;赵婷;;一种基于模糊聚类思想的评价结果组合模型[A];2006中国控制与决策学术年会论文集[C];2006年
9 刘金亮;;求解模糊需求条件下车辆路径问题的混合蚂蚁算法[A];第三届中国智能计算大会论文集[C];2009年
10 张春月;李晓奇;;基于SPSS的模糊聚类分析[A];第七届中国不确定系统年会论文集[C];2009年
中国博士学位论文全文数据库 前10条
1 张泽宝;空间数据库的索引技术研究[D];哈尔滨工程大学;2009年
2 于翔;基于网格的数据流聚类方法研究[D];哈尔滨工程大学;2010年
3 李桃迎;交通领域中的聚类分析方法研究[D];大连海事大学;2010年
4 曲建华;基于群体智能的聚类分析[D];山东师范大学;2010年
5 魏建香;学科交叉知识发现及其可视化研究[D];南京大学;2010年
6 张开广;郑州地区仰韶文化遗址空间模式研究[D];解放军信息工程大学;2010年
7 李晋江;海量数据点三维重构中一类关键问题研究[D];山东大学;2010年
8 杨剑锋;适合并行的无干预文档聚类算法研究[D];武汉大学;2010年
9 谢莉青;基于图像处理分析的机织物构成要素的综合识别方法与装置[D];东华大学;2010年
10 苏晓珂;基于聚类的异常挖掘算法研究[D];东华大学;2010年
中国硕士学位论文全文数据库 前10条
1 杨海陆;公路收费系统数据分析与挖掘[D];哈尔滨工程大学;2010年
2 丁金凤;基于网格与密度的数据流聚类算法研究[D];哈尔滨工程大学;2010年
3 于洋;一种改进的COBWEB算法研究[D];哈尔滨工程大学;2010年
4 孟庆海;基于社会书签的个性化查询词扩展技术研究[D];哈尔滨工程大学;2010年
5 徐艳红;基于倾斜时间窗口的频繁项集挖掘算法研究[D];哈尔滨工程大学;2010年
6 王秀锋;网络环境下异构日志信息获取和预处理研究[D];哈尔滨工程大学;2010年
7 杜以韧;基于网格和密度的数据流聚类算法研究[D];哈尔滨工程大学;2010年
8 杨立标;基于混合优化策略的粒子群算法及其应用研究[D];哈尔滨工程大学;2010年
9 孙丽萍;流形学习算法ISOMAP的改进与实现[D];大连理工大学;2010年
10 李念水;时间序列数据流在线预测研究与应用[D];大连理工大学;2010年
【同被引文献】
中国期刊全文数据库 前10条
1 邵长桥,荣建,任福田,杨振海;控制延误和停车延误关系的进一步研究[J];北京工业大学学报;2002年01期
2 赵艳厂,谢帆,宋俊德;一种新的聚类算法:等密度线算法[J];北京邮电大学学报;2002年02期
3 潘志松,胡谷雨,端义锋;One-Class分类器及其在异常检测中的应用[J];北京邮电大学学报;2004年S2期
4 朵春红;王翠茹;;网格和密度的聚类算法在CRM中的应用[J];电子科技大学学报;2007年06期
5 李金忠;;关联规则Apriori算法[J];电脑编程技巧与维护;2008年06期
6 陈鹏;;数据挖掘技术应用初探[J];电脑知识与技术;2010年33期
7 郭陟,赵曦滨,顾明;基于CCA的入侵检测行为轮廓创建技术研究[J];电子学报;2004年08期
8 高立忠;郝晓艳;;交叉路口信号灯周期和绿信比的优化[J];河北省科学院学报;1992年03期
9 姚玉钦;李金广;;一种基于网格的层次聚类算法[J];河南师范大学学报(自然科学版);2009年04期
10 周水庚,周傲英,曹晶,胡运发;一种基于密度的快速聚类算法[J];计算机研究与发展;2000年11期
中国博士学位论文全文数据库 前8条
1 于翔;基于网格的数据流聚类方法研究[D];哈尔滨工程大学;2010年
2 王莉;数据挖掘中聚类方法的研究[D];天津大学;2004年
3 赵恒;数据挖掘中聚类若干问题研究[D];西安电子科技大学;2005年
4 刘学军;数据流聚集查询和频繁模式挖掘的研究[D];东南大学;2006年
5 曹锋;数据流聚类分析算法[D];复旦大学;2006年
6 王鹏;数据流上的分类算法的研究[D];复旦大学;2007年
7 孙玉芬;基于网格方法的聚类算法研究[D];华中科技大学;2006年
8 尹志武;数据流挖掘若干问题的研究[D];上海交通大学;2007年
中国硕士学位论文全文数据库 前10条
1 丁金凤;基于网格与密度的数据流聚类算法研究[D];哈尔滨工程大学;2010年
2 蔡斌雷;面向数据流的优化聚类算法研究[D];燕山大学;2010年
3 张学茂;关联规则挖掘研究[D];长沙理工大学;2006年
4 沈世铭;数据挖掘技术在入侵检测中的研究[D];天津工业大学;2007年
5 李晓红;城市干线交通信号协调优化控制及仿真[D];大连理工大学;2007年
6 邹凌君;流数据的聚类分类算法研究[D];扬州大学;2008年
7 徐建伟;基于免疫算法的城市干线交通信号协调控制研究[D];湘潭大学;2008年
8 曹永照;数据流聚类算法的研究[D];合肥工业大学;2009年
9 朱涛;基于FP-growth关联规则挖掘算法的研究与应用[D];南昌大学;2010年
10 张金;数据挖掘技术在3G业务扩展中的研究与应用[D];湖南师范大学;2010年
【二级引证文献】
中国期刊全文数据库 前3条
1 米源;杨燕;李天瑞;;基于密度网格的数据流聚类算法[J];计算机科学;2011年12期
2 刘晓庆;李云岭;高洁;丛康林;;德州市土地利用合理性分析[J];山东国土资源;2011年05期
3 王海波;王宪鹏;王芳;陈志国;;一种基于网格和最小生成树的数据流聚类算法[J];计算机系统应用;2011年02期
中国硕士学位论文全文数据库 前8条
1 杜以韧;基于网格和密度的数据流聚类算法研究[D];哈尔滨工程大学;2010年
2 张丽;基于网格的数据流聚类算法研究[D];河南大学;2011年
3 米源;基于密度网格的数据流聚类算法研究[D];西南交通大学;2011年
4 王宪鹏;基于网格的MST数据流聚类算法研究[D];哈尔滨工程大学;2009年
5 杨海振;数据流聚类算法及其应用的研究[D];五邑大学;2009年
6 郭文彦;基于相似度及网格划分优化的数据流聚类算法研究[D];燕山大学;2012年
7 潘天鸣;基于Hadoop平台的决策树算法并行化研究[D];华东师范大学;2012年
8 欧阳佳;基于滑动窗口与网格密度的数据流聚类算法的研究[D];中南大学;2012年
【二级参考文献】
中国期刊全文数据库 前10条
1 蔡颖琨,谢昆青,马修军;屏蔽了输入参数敏感性的DBSCAN改进算法[J];北京大学学报(自然科学版);2004年03期
2 许俊刚,柯有安;自组织神经网络雷达目标识别的研究[J];北京理工大学学报;1992年03期
3 赵艳厂,谢帆,宋俊德;一种新的聚类算法:等密度线算法[J];北京邮电大学学报;2002年02期
4 刘勇国,彭军,张伟,李学明,廖晓峰,吴中福;入侵检测与聚类分析[J];重庆工业高等专科学校学报;2003年01期
5 行小帅,焦李成;数据挖掘的聚类方法[J];电路与系统学报;2003年01期
6 刘健庄;基于二维直方图的图象模糊聚类分割方法[J];电子学报;1992年09期
7 高新波,裴继红,谢维信;模糊c-均值聚类算法中加权指数m的研究[J];电子学报;2000年04期
8 王磊,潘进,焦李成;免疫算法[J];电子学报;2000年07期
9 刘静,钟伟才,刘芳,焦李成;免疫进化聚类算法[J];电子学报;2001年S1期
10 刘海峰 ,卿斯汉 ,蒙杨 ,刘文清;一种基于审计的入侵检测模型及其实现机制[J];电子学报;2002年08期
【相似文献】
中国期刊全文数据库 前10条
1 杨春宇;周杰;;一种混合属性数据流聚类算法[J];计算机学报;2007年08期
2 王述云;张成洪;郝秀兰;胡运发;;基于免疫原理的数据流聚类算法[J];模式识别与人工智能;2009年02期
3 李桃迎;陈燕;秦胜君;李楠;;增量聚类算法综述[J];科学技术与工程;2010年35期
4 廖建平;马文龙;;基于倾斜时间窗口的高效数据流偏向最近聚类分析算法[J];计算机与现代化;2010年05期
5 陈卫;杜彦辉;马锐;;分布式拒绝服务攻击网络跟踪模型[J];警察技术;2006年06期
6 李琳;李肯立;;基于图形处理器的划分聚类算法效率研究[J];计算机应用研究;2009年04期
7 郑重;;基于聚类分析的企业动态竞争对手辨识[J];情报杂志;2010年08期
8 杨永铭;王喆;;孤立点挖掘算法研究[J];计算机与数字工程;2008年01期
9 常程,李铮,周荫清;半导体激光器光谱的聚类分析[J];光子学报;1999年12期
10 李冬;谢宗宝;郑秋燕;;基于聚类分析的协作学习分组方法的讨论[J];软件导刊;2005年06期
中国重要会议论文全文数据库 前10条
1 韩东红;王国仁;周锐;公丕臻;王剑;杜钰;;基于控制理论的数据流QoS自适应框架及卸载技术的研究[A];第二十三届中国数据库学术会议论文集(研究报告篇)[C];2006年
2 蔡致远;魏藜;钱卫宁;周傲英;;DEODS:快速准确的数据流密度估计[A];第十九届全国数据库学术会议论文集(研究报告篇)[C];2002年
3 丁健;李建中;李金宝;高宏;;数据流上的并行决策树构成算法[A];第二十二届中国数据库学术会议论文集(技术报告篇)[C];2005年
4 李康宁;樊小泊;陈红;;一种数据流滑动窗口范围连接上基于局部特征的查询索引[A];第二十三届中国数据库学术会议论文集(研究报告篇)[C];2006年
5 后小亮;刘奇志;高先锋;檀宝权;;大量多态数据流的综合压缩算法[A];第二十五届中国数据库学术会议论文集(二)[C];2008年
6 李爱平;杨庆民;甘亮;;基于Dwarf的数据流立方体的研究与实现[A];第15届全国信息存储技术学术会议论文集[C];2008年
7 林子雨;林琛;冯少荣;张东站;;MESHJOIN~*:实时数据仓库环境下的数据流更新算法[A];NDBC2010第27届中国数据库学术会议论文集A辑二[C];2010年
8 谭建龙;郭丽;刘萍;沈星星;;建立数据流管理系统GodRiver[A];全国网络与信息安全技术研讨会’2004论文集[C];2004年
9 李智;唐常杰;栾江;汪锐;贾晓兵;;基于索引的XML数据流的变化检测[A];第二十届全国数据库学术会议论文集(研究报告篇)[C];2003年
10 杨宜东;孙志挥;张柏礼;;数据流多维直方图的动态维护[A];第二十一届中国数据库学术会议论文集(研究报告篇)[C];2004年
中国重要报纸全文数据库 前10条
1 本报记者 朱杰;优化数据流构建移动未来网络[N];中国计算机报;2010年
2 本报记者 陈嘉;朱穗生:强化动态环境下的治安防控[N];人民公安报;2001年
3 谭啸;打通企业数据流[N];计算机世界;2005年
4 深圳市物业发展(集团)股份有限公司 程贵平;以理顺数据流为出发点[N];网络世界;2002年
5 本报记者 卢子月;WIPS捕捉空中数据流[N];通信产业报;2010年
6 ;聚类分析在自身免疫病基因表达谱研究中的初步应用[N];中国医药报;2003年
7 李;金山毒霸力推数据流杀毒技术[N];计算机世界;2007年
8 杨春光 张钝;数据流托起信息化训练方舟[N];解放军报;2003年
9 市公交治安分局局长 闫文艳;努力打造安全和谐的出行环境[N];保定日报;2007年
10 特约撰稿人 奇琳;B3G的多天线技术[N];通信产业报;2006年
中国博士学位论文全文数据库 前10条
1 单世民;基于网格和密度的数据流聚类方法研究[D];大连理工大学;2006年
2 曹锋;数据流聚类分析算法[D];复旦大学;2006年
3 赵宁;理中丸和四君子汤与脾虚证方证相关性的实验研究[D];中国中医科学院;2006年
4 吕崇山;代谢综合征中医辨证分型及其与临床检测指标的相关性研究[D];福建中医学院;2008年
5 袁军宝;我国农业现代化进程中的农户兼业经营问题研究[D];兰州大学;2009年
6 邵伟钰;地方政府债务风险预警体系研究[D];苏州大学;2008年
7 吴飞珍;基因芯片数据的聚类功能评价算法和判别分析算法研究[D];上海大学;2009年
8 王述云;数据流频繁项挖掘与聚类分析的研究[D];复旦大学;2008年
9 孙玉芬;基于网格方法的聚类算法研究[D];华中科技大学;2006年
10 王桐;XML内容路由关键技术研究[D];哈尔滨工程大学;2006年
中国硕士学位论文全文数据库 前10条
1 郭兴凯;数据流挖掘技术的研究[D];黑龙江大学;2005年
2 王宪鹏;基于网格的MST数据流聚类算法研究[D];哈尔滨工程大学;2009年
3 张峰;基于原料蔗糖份数据挖掘的应用研究[D];南京工业大学;2005年
4 张勇实;基于聚类的增量支持向量机动态构造方法研究[D];哈尔滨工程大学;2008年
5 张白妮;基因数据聚类分析研究[D];湖南大学;2005年
6 于泓漪;道路交通事故原因的聚类分析[D];吉林大学;2005年
7 曲华;一种双聚类算法的实现与改进[D];吉林大学;2005年
8 刘小俊;中国南瓜属(Cucurbita spp)部分栽培种遗传多样性研究[D];四川大学;2005年
9 唐峰;动态环境下企业R&D/市场营销柔性整合研究[D];中南大学;2004年
10 何志新;动态环境下的湖南电信宽带业务发展战略研究[D];中南大学;2004年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026