收藏本站
《电子科技大学》 2010年
收藏 | 手机打开
二维码
手机客户端打开本文

基于数据挖掘的分布式异常检测

周俊临  
【摘要】: 数据挖掘是知识发现的一种重要工具,它的目的是发现隐含在大量数据中有价值的模式信息。异常检测在数据挖掘的四大任务中占据着非常重要的地位,与预测模型、聚类分析和关联分析相比,它显得更有价值,更能体现数据挖掘的初衷。例如,一万个正常的记录很可能只覆盖一条规则,而十个异常很可能就意味着十条不同的规则。异常检测在多个领域中具有广泛的应用,如信用卡欺诈检测、药物研究、医疗分析、消费者行为分析、气象预报、网络入侵检测等。在信息产业高速发展的今天,随着业务规模的不断扩大和服务内容的不断更新,迫切需要企业采用分布式解决方案,用于管理复杂的异构环境,实现不同硬件设备、软件系统、网络环境及数据库系统之间的协同工作,这也给研究者和工程人员提出了新的挑战。在分布式环境下,异常检测需要考虑的主要问题是:如何利用最少传输提供最大的信息共享,同时要保证异常检测的准确性和各方数据的隐私性。为解决此问题,本文从数据挖掘的角度,针对分布式异常检测技术进行了创新性和探索性研究。主要研究内容为: 1.从异常检测的定义出发,针对现有基于数据挖掘的各种异常检测方法进行了详细描述,并分析其各自优缺点和目前国内外相关技术的研究现状。 2.通过对比集中式异常检测和分布式异常检测的不同,并结合集成学习方法,提出一套分布式异常检测框架。应用此框架,分别针对有监督学习和无监督学习的异常检测方法进行了研究,实验结果表明提出的分布式检测框架能够获得和集中式检测相当甚至更好的检测效果,同时能够保证各方数据的隐私性。 3.研究分布式环境下数据流上的异常检测,同时提出一种响应式的概念漂移检测模型,能够准确的进行概念漂移数据流上的异常检测。 4.研究分布式环境下高维数据的无监督异常检测,针对高维科学数据提出一种自适应谱聚类方法,并在分子动力学数值模拟科学数据上进行了实验,得到了很好的检测效果。 5.研究分布式异常检测中的隐私保护问题,并针对支持向量机分类器提出了一种隐私保护支持向量机。通过实验证明,提出的方法能够保证数据的隐私性,同时能够达到和原支持向量机相当的检测效果。研究基于个性化隐私保护的数据挖掘问题,并提出一种基于数据扰动的个性化隐私保护方法用于分布式异常检测。
【学位授予单位】:电子科技大学
【学位级别】:博士
【学位授予年份】:2010
【分类号】:TP393.08

手机知网App
【引证文献】
中国期刊全文数据库 前1条
1 叶家宇;张顺健;黄剑;;基于概率分布的异常数据发现与识别算法[J];计算机应用与软件;2012年11期
中国博士学位论文全文数据库 前2条
1 颜永龙;风电机组运行状态评估与短期可靠性预测方法研究[D];重庆大学;2015年
2 赵华;基于粗糙集理论的混合数据挖掘方法研究[D];西南交通大学;2014年
中国硕士学位论文全文数据库 前10条
1 张瑞琴;基于信息熵聚类的异常检测方法研究[D];北京交通大学;2016年
2 向宇;基于MapReduce的城市交通出行分布异常检测和分析[D];北京工业大学;2014年
3 符强;研究生学籍管理系统设计与异常数据检测实现[D];东北大学;2014年
4 宋云华;基于S.M.A.R.T.预测故障磁盘的研究[D];南京大学;2014年
5 赵鑫;基于NetFlow的网络流量异常检测技术研究[D];河北大学;2014年
6 张涛;网络安全态势感知中非均衡数据异常分类的研究[D];天津理工大学;2014年
7 孟静;异常数据挖掘算法研究与应用[D];江南大学;2013年
8 常飞;基于实时数据的动态异常检测方法研究[D];天津理工大学;2013年
9 彭玉静;移动互联网业务性能分析[D];北京邮电大学;2013年
10 李玉峰;基于K-同构算法的社会网络隐私保护研究[D];内蒙古科技大学;2012年
【参考文献】
中国期刊全文数据库 前6条
1 孙岳;毛国君;刘旭;刘椿年;;基于多分类器的数据流中的概念漂移挖掘[J];自动化学报;2008年01期
2 秦首科;钱卫宁;周傲英;;基于分形技术的数据流突变检测算法[J];软件学报;2006年09期
3 黄毅群;卢正鼎;胡和平;李瑞轩;;分布式异常检测中隐私保持问题研究[J];电子学报;2006年05期
4 葛伟平;汪卫;周皓峰;施伯乐;;基于隐私保护的分类挖掘[J];计算机研究与发展;2006年01期
5 李国正,杨杰,孔安生,陈念贻;基于聚类算法的选择性神经网络集成[J];复旦学报(自然科学版);2004年05期
6 周志华,陈世福;神经网络集成[J];计算机学报;2002年01期
【共引文献】
中国期刊全文数据库 前10条
1 杨小健;朱月;钱景辉;;基于FCM-ANN的化工储罐异常检测方法研究[J];计算机应用与软件;2017年02期
2 潘庆先;董红斌;韩启龙;王莹洁;丁蕊;;一种基于BP神经网络的属性重要性计算方法[J];中国科学技术大学学报;2017年01期
3 叶云;余勇;黄刘生;石聪聪;李尼格;怀梦迪;;一种基于top-m D~k-Outlier的隐私保护异常数据检测算法[J];小型微型计算机系统;2016年12期
4 张任;王晖;;基于三支决策粗糙集的概念漂移研究[J];微型机与应用;2016年22期
5 盛伟国;单鹏霄;;一种基于小生境的负相关神经网络集成算法[J];浙江工业大学学报;2016年05期
6 孙艳歌;王志海;原继东;韩萌;;数据流滑动窗口方式下的自适应集成分类算法[J];北京交通大学学报;2016年05期
7 徐晓杨;纪志成;;选择性集成极限学习机分类器建模研究[J];计算机应用与软件;2016年09期
8 徐树良;王俊红;;结合无监督学习的数据流分类算法[J];模式识别与人工智能;2016年07期
9 李光兴;;基于相对密度的孤立点和边界点识别算法[J];计算机科学;2016年S1期
10 朱奕健;张正卿;;基于通信运营商数据的大数据实时流处理系统[J];中国新通信;2016年03期
【同被引文献】
中国期刊全文数据库 前1条
1 吴应清;;异常数据挖掘在实际中的应用[J];办公自动化;2011年10期
中国博士学位论文全文数据库 前8条
1 申彦;大规模数据集高效数据挖掘算法研究[D];江苏大学;2013年
2 蒋泽甫;风电转换系统可靠性评估及其薄弱环节辨识[D];重庆大学;2012年
3 杨霁琳;不完备信息系统知识约简方法及应用研究[D];西南交通大学;2010年
4 纪霞;不完备信息系统中粗糙集理论的扩展研究与应用[D];安徽大学;2010年
5 周俊临;基于数据挖掘的分布式异常检测[D];电子科技大学;2010年
6 田宏;不完备信息系统的数据挖掘研究[D];大连理工大学;2010年
7 胡清华;混合数据知识发现的粗糙计算模型和算法[D];哈尔滨工业大学;2008年
8 崔广才;基于粗糙集的数据挖掘方法研究[D];吉林大学;2004年
中国硕士学位论文全文数据库 前10条
1 朱吉龙;孤立点检测在移动通信数据分析上的研究与应用[D];广东工业大学;2013年
2 廖建飞;网络流量的异常检测与业务类型识别方法的研究[D];南京邮电大学;2013年
3 刘军;数据挖掘技术在公安警务信息管理系统中的应用[D];上海交通大学;2013年
4 童晓君;基于出租车GPS数据的居民出行行为分析[D];中南大学;2012年
5 奚亮亮;基于LBS的校园信息服务研究与应用[D];浙江工业大学;2012年
6 张江南;物流企业管理系统的设计与实现[D];南昌大学;2011年
7 祝洪娇;基于Android平台的位置服务系统的设计与实现[D];北京交通大学;2012年
8 庄芳仪;基于信息熵的异常流量分布式检测方法的研究[D];大连海事大学;2011年
9 周艳;基于聚类和支持向量机的入侵异常检测方法研究[D];吉林大学;2011年
10 李小杰;从车辆轨迹数据中提取道路网络几何特征[D];华东师范大学;2011年
【二级引证文献】
中国期刊全文数据库 前2条
1 Yuan Ligang;Hu Minghua;Xie Hua;Li Yinfeng;;Estimation of Standard Operation Time of Flight Legs Based on Clustering and Probability Analysis[J];Transactions of Nanjing University of Aeronautics and Astronautics;2016年04期
2 沈清华;陈伟宏;姜绍飞;麻胜兰;;随机共振结合RobustICA的两阶段结构损伤定位方法[J];福州大学学报(自然科学版);2014年06期
中国硕士学位论文全文数据库 前7条
1 杨晓明;异常值处理在教师绩效考核系统中的应用研究[D];郑州大学;2016年
2 吴云龙;基于HMM的Netflow异常流量检测方法的研究[D];江苏大学;2016年
3 蔡鑫;生物氧化预处理过程供氧系统能耗优化研究[D];新疆大学;2015年
4 曾丹乐;基于多源信息融合的变压器状态评估关键技术研究[D];上海交通大学;2015年
5 杨康;基于评价模型的基金数据质量管理平台的设计和实现[D];浙江大学;2015年
6 杨代君;基于进化算法的高维数据聚类研究[D];西安电子科技大学;2014年
7 郑思维;基于邻域关系的离群数据挖掘算法研究[D];南昌大学;2014年
【二级参考文献】
中国期刊全文数据库 前4条
1 李建中,郭龙江,张冬冬,王伟平;数据流上的预测聚集查询处理算法[J];软件学报;2005年07期
2 金澈清,钱卫宁,周傲英;流数据分析与管理综述[J];软件学报;2004年08期
3 周志华;何佳洲;陈世福;;神经网络国际研究动向——2000年国际神经网络联合大会评述[J];模式识别与人工智能;2000年04期
4 崔伟东;周志华;李星;;神经网络VC维计算研究[J];计算机科学;2000年07期
【相似文献】
中国期刊全文数据库 前10条
1 香丽芸;浅谈数据挖掘及其应用[J];昌吉师专学报;2001年02期
2 郑雪燕,张杰明,岳洋;数据挖掘语言[J];计算机时代;2001年11期
3 刘明晶;数据挖掘[J];华南金融电脑;2001年04期
4 张伟;刘勇国;彭军;廖晓峰;吴中福;;数据挖掘发展研究[J];计算机科学;2001年07期
5 钟晓;马少平;张钹;俞瑞钊;;数据挖掘综述[J];模式识别与人工智能;2001年01期
6 朱建平,张润楚;数据挖掘的发展及其特点[J];统计与决策;2002年07期
7 傅岚;在数据海洋中打捞信息数据挖掘[J];科技广场;2002年11期
8 李峻;数据挖掘,企业洞察先机的“慧眼”[J];中国计算机用户;2002年48期
9 罗可,蔡碧野,卜胜贤,谢中科;数据挖掘及其发展研究[J];计算机工程与应用;2002年14期
10 ;2002数据挖掘研讨班[J];计算机工程;2002年06期
中国重要会议论文全文数据库 前10条
1 史东辉;蔡庆生;张春阳;;一种新的数据挖掘多策略方法研究[A];第十七届全国数据库学术会议论文集(研究报告篇)[C];2000年
2 张弦;;数据挖掘在农业中的应用[A];纪念中国农业工程学会成立30周年暨中国农业工程学会2009年学术年会(CSAE 2009)论文集[C];2009年
3 魏顺平;;教育数据挖掘:现状与趋势[A];信息化、工业化融合与服务创新——第十三届计算机模拟与信息技术学术会议论文集[C];2011年
4 关清平;沉培辉;;概率网络在数据挖掘上的应用[A];科技、工程与经济社会协调发展——中国科协第五届青年学术年会论文集[C];2004年
5 丁瑾;;基于Web数据挖掘的综述[A];山西省科学技术情报学会学术年会论文集[C];2004年
6 聂茹;田森平;;Web数据挖掘及其在电子商务中的应用[A];中南六省(区)自动化学会第24届学术年会会议论文集[C];2006年
7 李菊;王军;;数据挖掘在客户关系管理的应用[A];计算机技术与应用进展·2007——全国第18届计算机技术与应用(CACIS)学术会议论文集[C];2007年
8 肖阳;李启贤;;数据挖掘在中国钢铁行业中的应用[A];中国计量协会冶金分会2012年会暨能源计量与节能降耗经验交流会论文集[C];2012年
9 杨磊;王贵成;汪勇;张占胜;;SQL Server 2005在数据挖掘中的应用[A];2009年中国智能自动化会议论文集(第二分册)[C];2009年
10 谢中;邱玉辉;;面向商务网站有效性的数据挖掘方法[A];第十八届全国数据库学术会议论文集(技术报告篇)[C];2001年
中国重要报纸全文数据库 前10条
1 本报记者褚宁;数据挖掘如“挖金”[N];解放日报;2002年
2 周蓉蓉;数据挖掘需要点想像力[N];计算机世界;2004年
3 □中国电信股份有限公司北京研究院 张舒博 □北京邮电大学计算机科学与技术学院 牛琨;走出数据挖掘的误区[N];人民邮电;2006年
4 《网络世界》记者 王莹;数据挖掘保险业的新蓝海[N];网络世界;2012年
5 刘俊丽;基于地理化的网络数据挖掘与分析提升投资有效性[N];人民邮电;2014年
6 本报记者 连晓东;数据挖掘:金融信息化新热点[N];中国电子报;2002年
7 本报记者 凤小华 朱仁康;“数字挖掘软件”引领中国信息化新浪潮[N];中国电子报;2003年
8 本报记者 史延廷;“成功企业数据挖掘暨数量化管理论坛”在京举办[N];中国旅游报;2002年
9 朱小宁;数据挖掘:信息化战争的基础工程[N];解放军报;2005年
10 本报记者 王小平;从“大集中”走向数据挖掘[N];金融时报;2002年
中国博士学位论文全文数据库 前10条
1 于自强;海量流数据挖掘相关问题研究[D];山东大学;2015年
2 张馨;全基因组SNP芯片应用于CNV和L0H分析的软件比对与数据挖掘[D];复旦大学;2011年
3 彭计红;基于数据挖掘的痴呆中医证的研究[D];南京中医药大学;2015年
4 李秋虹;基于MapReduce的大规模数据挖掘技术研究[D];复旦大学;2013年
5 邬文帅;基于多目标决策的数据挖掘方法评估与应用[D];电子科技大学;2015年
6 谢邦彦;整合数据挖掘与TRIZ理论的质量管理方法研究[D];首都经济贸易大学;2010年
7 何伟全;云南高校学生意外伤害因素关联规则挖掘及风险管控体系研究[D];昆明理工大学;2015年
8 段功豪;基于多结构数据挖掘的滑坡灾害预测模型研究[D];中国地质大学;2016年
9 白晓明;基于数据挖掘的复合材料宏—细观力学模型研究[D];哈尔滨工业大学;2016年
10 蓝永豪(LAM Wing Ho);基于数据挖掘技术分析当代中医名家痤疮验方经验研究[D];南京中医药大学;2016年
中国硕士学位论文全文数据库 前10条
1 林仁红;基于数据挖掘的机遇识别与评价研究[D];首都经济贸易大学;2007年
2 张彦俊;游戏运营中的数据挖掘[D];复旦大学;2011年
3 焦亚召;基于多核函数FCM算法在数据挖掘聚类中的应用研究[D];昆明理工大学;2015年
4 王杰锋;物联网能耗数据智能分析及其应用平台设计[D];江南大学;2015年
5 刘学建;数据挖掘在电子商务推荐系统中的应用研究[D];昆明理工大学;2015年
6 戴阳阳;基于数据挖掘的金融时间序列预测研究与应用[D];江南大学;2015年
7 石思优;基于主题模型的医疗数据挖掘研究[D];广东技术师范学院;2015年
8 陈丹;移动互联网信令挖掘实现智慧营销的设计与实现应用研究[D];华南理工大学;2015年
9 陈思;基于数据挖掘的大学生客户识别模型的研究[D];昆明理工大学;2015年
10 位长帅;基于客户数据挖掘的电信客户关系管理研究[D];西南交通大学;2015年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026