收藏本站
《复旦大学》 2004年
收藏 | 手机打开
二维码
手机客户端打开本文

智能数据分析中异常数据的集成化管理方法研究

姚卫新  
【摘要】:作为信息时代关键性资源之一的数据,其质量问题尤其是异常数据的出现对智能数据分析的结果产生越来越重要的影响。异常数据是数据集中与众不同的数据,它们不符合惯常的数据模式,其产生机制与大多数数据不同。 异常数据包括两种类型,第一种是真实异常数据,包含着从应用角度看非常有意义的知识;第二种是噪音异常数据,是采集或记录过程中的错误引起的,会误导分析的结果。目前对于异常数据的态度主要有两种,一是拒绝,从数据集中删除全部异常数据,优点是可以减少异常数据的误导作用,但会丢失有意义的信息;二是保留,保留所有异常数据,不会丢失任何信息,但分析结果会受到异常数据的误导。 鉴于目前对异常数据的研究主要集中在检测方法的探讨上,对其缺乏完整的管理思路,本文提出了智能数据分析中异常数据的集成化管理方法,对异常数据的检测阶段、区分阶段以及从真实异常数据中发现知识阶段分别提出了对应的处理方法,为了使异常数据的集成化管理方法更加高效,也提出了控制噪音异常数据产生的方法。 本文的研究目的是构建异常数据的集成化管理方法,主要包括下列有机结合的三个方面:在比较现有异常数据检测方法的基础上,提出了运用自组织映射检测异常数据的方法;在自组织映射检测结果的基础上,提出了两个互补的结合领域知识区分不同类型异常数据的方法;运用交互式方法从真实异常数据中发现知识的方法。 为了便于理解本文提出的异常数据的集成化管理方法,结合检测视神经疾病的计算机视频视野测试方法进行了分析。
【学位授予单位】:复旦大学
【学位级别】:博士
【学位授予年份】:2004
【分类号】:TP311.1

【引证文献】
中国期刊全文数据库 前4条
1 薛安荣;姚林;鞠时光;陈伟鹤;马汉达;;离群点挖掘方法综述[J];计算机科学;2008年11期
2 纪素娟;;基于主成分分析法的异常数据检测及其应用[J];教育教学论坛;2009年02期
3 纪素娟;;基于主成分分析法的异常数据检测及其应用[J];教育教学论坛;2009年09期
4 陈晓瑛;戴海岳;尹利华;;软土路基沉降与稳定监测异常数据的判别分析[J];路基工程;2012年02期
中国博士学位论文全文数据库 前2条
1 陈昆亮;汽轮发电机组状态监测与故障预警系统研究[D];华北电力大学;2012年
2 尹利华;公路软土地基处理关键技术智能信息化研究[D];长安大学;2011年
中国硕士学位论文全文数据库 前6条
1 顾新财;面向多维数据的孤立点挖掘方法研究[D];辽宁工业大学;2011年
2 成诚;传递函数模型中的异常值分析[D];大连海事大学;2011年
3 汪建;军工集团财务智能决策支持系统研究[D];北京邮电大学;2011年
4 肖磊;异常数据检测及其在神经模糊建模中的应用[D];厦门大学;2006年
5 郧刚;基于异常数据的智能故障诊断探究[D];厦门大学;2007年
6 张慧娟;异常数据检验的几种方法[D];燕山大学;2012年
【参考文献】
中国期刊全文数据库 前5条
1 胡卫明,徐俊华,严晓浪,何志钧;用新的神经网络求解MCM系统划分问题[J];中国科学E辑:技术科学;1999年03期
2 姚卫新,黄丽华;智能数据分析在医学领域的应用综述[J];计算机工程;2004年07期
3 沈涛,甘骏人,姚林声;自组织人工神经网络在集成电路布局中的应用[J];计算机学报;1992年09期
4 姚卫新,黄丽华;事件驱动式商务智能——商业竞争的新利器[J];科技导报;2004年02期
5 姚卫新,黄丽华;智能数据分析中的异常数据管理[J];科技导报;2004年07期
【共引文献】
中国期刊全文数据库 前10条
1 梁学斌;;离散Hopfield神经网络的统一描述[J];安徽大学学报(自然科学版);1993年02期
2 王永梅;胡学钢;;决策树中ID3算法的研究[J];安徽大学学报(自然科学版);2011年03期
3 叶明全;;数据挖掘在医疗数据中的应用[J];安徽工程科技学院学报(自然科学版);2007年03期
4 范生万;王浩;;贝叶斯网络在高职英语应用能力考试中的应用研究[J];安徽工程科技学院学报(自然科学版);2007年04期
5 范生万;;贝叶斯网络分类模型在教育中的应用研究[J];安徽建筑工业学院学报(自然科学版);2008年01期
6 贾泽露;;基于GIS与SDM集成的农用地定级专家系统[J];安徽农业科学;2008年14期
7 蔡丽艳;冯宪彬;丁蕊;;基于决策树的农户小额贷款信用评估模型研究[J];安徽农业科学;2011年02期
8 濮永仙;;贝叶网在农业专家系统中的研究与应用[J];安徽农业科学;2011年07期
9 赵静娴;;基于决策树的食品安全评估研究[J];安徽农业科学;2011年32期
10 王斌;;基于聚类的决策树在玉米种质筛选中的应用[J];安徽农业科学;2011年33期
中国重要会议论文全文数据库 前10条
1 严传魁;王如彬;;基于汉密尔顿原理的神经元模型[A];第十三届全国非线性振动暨第十届全国非线性动力学和运动稳定性学术会议摘要集[C];2011年
2 叶红云;倪志伟;陈恩红;;一种混合型集成学习演化决策树算法[A];2005年“数字安徽”博士科技论坛论文集[C];2005年
3 程泽凯;泰锋;;贝叶斯网络分类器结构学习:基于启发式的G2算法[A];2005年“数字安徽”博士科技论坛论文集[C];2005年
4 杨波;秦锋;程泽凯;;一种新的分类学习系统评估度量[A];2005年“数字安徽”博士科技论坛论文集[C];2005年
5 ;Learning Algorithm of Decision Tree Generation for Continuous-valued Attribute[A];第二十九届中国控制会议论文集[C];2010年
6 ;Fault Diagnosis Based on Bayesian Networks for the Data Incomplete Industrial System[A];中国自动化学会控制理论专业委员会A卷[C];2011年
7 ;Synthesis of Boolean Networks Via Semi-tensor Product[A];中国自动化学会控制理论专业委员会A卷[C];2011年
8 王琦;;基于贝叶斯决策树算法的垃圾邮件识别机制[A];2011年通信与信息技术新进展——第八届中国通信学会学术年会论文集[C];2011年
9 刘向南;王浩;姚宏亮;;一种基于x~2测试的贪婪搜索结构学习算法[A];2011中国仪器仪表与测控技术大会论文集[C];2011年
10 鲁松;;英文介词短语归并歧义的RMBL分类器消解[A];2005年信息与通信领域博士后学术会议论文集[C];2005年
中国博士学位论文全文数据库 前10条
1 孙明;基于小波和迟滞的混沌神经网络及其应用[D];哈尔滨工程大学;2010年
2 孟宇龙;基于本体的多源异构安全数据聚合[D];哈尔滨工程大学;2010年
3 李桃迎;交通领域中的聚类分析方法研究[D];大连海事大学;2010年
4 郑大腾;柔性坐标测量机空间误差模型及最佳测量区研究[D];合肥工业大学;2010年
5 朱松;随机回归神经网络的动力学行为研究[D];华中科技大学;2010年
6 张明;电能质量扰动相关问题研究[D];华中科技大学;2010年
7 柴园园;普适的模糊推理系统理论及应用[D];北京交通大学;2011年
8 许伟;基于进化算法的复杂化工过程智能建模方法及其应用[D];华东理工大学;2011年
9 李曼荔;求解组合优化问题的神经计算方法[D];电子科技大学;2010年
10 渠瑜;基于SVM的高不平衡分类技术研究及其在电信业的应用[D];浙江大学;2010年
中国硕士学位论文全文数据库 前10条
1 郑伟;MDL算法用于时间梯度设计试验猪骨骼肌基因调控网络分析上的研究[D];华中农业大学;2010年
2 李连昌;新安煤田二_1煤层煤与瓦斯突出危险程度预测[D];河南理工大学;2010年
3 罗婷婷;飞机钣金叠板数控套裁下料软件系统的研究[D];南昌航空大学;2010年
4 岳海亮;信息论在粗糙集连续属性离散化中的应用[D];辽宁师范大学;2010年
5 徐小任;基于BP神经网络的城镇网络地价评估模型研究[D];广西师范学院;2010年
6 程慧;基于神经网络的两类问题研究[D];广西师范学院;2010年
7 吴家瑞;服装产品加工成本快速估算方法研究[D];浙江理工大学;2010年
8 王捷;数字图像边缘检测方法的若干改进与应用研究[D];浙江理工大学;2010年
9 雷明杰;神经网络和遗传算法在中厚板轧机中的应用研究[D];郑州大学;2010年
10 张华杰;模糊神经网络在肺癌诊断中的应用[D];郑州大学;2010年
【同被引文献】
中国期刊全文数据库 前10条
1 熊燕;李艳红;;基于数据挖掘的电力系统异常数据辨识与调整[J];安徽电气工程职业技术学院学报;2010年03期
2 吴应清;;异常数据挖掘在实际中的应用[J];办公自动化;2011年10期
3 郭丽杰;高金吉;杨剑锋;王世达;李大成;;石化旋转机械基于风险的维修决策研究[J];北京化工大学学报(自然科学版);2009年02期
4 张珍花;路正南;;经济异常数据的挖掘方法与处理研究[J];商业研究;2007年05期
5 何朝兵;田彦伟;;顺序统计量的分布[J];成都大学学报(自然科学版);2008年02期
6 王伟;关于顺序统计量分布的一种证明[J];长春大学学报;2002年06期
7 陶庭叶;高飞;吴兆福;;自适应过滤法及其在大坝监测中的应用[J];测绘科学;2009年05期
8 黄寿昌;肖俊;;财务战略的制定:内在逻辑与基本框架[J];财会通讯(学术版);2007年06期
9 宇云飞,张文彤,张梅;泊松曲线在软土路基沉降预测中的应用研究[J];河北农业大学学报;2004年04期
10 吕红锋;;企业集团利用网络技术实现财务集中控制的思考[J];国际商务财会;2007年03期
中国博士学位论文全文数据库 前8条
1 李小勇;土工参数空间概率特性及软粘土地基固结概率分析[D];浙江大学;2001年
2 冯仲仁;高速公路软基处理智能决策支持技术研究[D];武汉理工大学;2003年
3 覃光华;人工神经网络技术及其应用[D];四川大学;2003年
4 冯志鹏;计算智能在机械设备故障诊断中的应用研究[D];大连理工大学;2003年
5 汪江;汽轮机组振动故障诊断SVM方法与远程监测技术研究[D];东南大学;2005年
6 于山;基于GDP的城市抗震减灾资源配置研究[D];天津大学;2005年
7 殷瑞飞;数据挖掘中的聚类方法及其应用[D];厦门大学;2008年
8 薛安荣;空间离群点挖掘技术的研究[D];江苏大学;2008年
中国硕士学位论文全文数据库 前10条
1 邹丽洁;电站设备参数异动搜索分析与故障预警研究[D];华北电力大学(北京);2011年
2 刘晓明;基于软土地基下的变形观测数据精度与可靠性分析[D];大连理工大学;2003年
3 刘建兰;沥青路面施工专家系统设计与实现[D];长安大学;2003年
4 陈向阳;高速公路软基处理方案智能决策模型研究[D];武汉理工大学;2003年
5 成小锋;高速公路路基沉降观测数据的可靠性分析及应用研究[D];河海大学;2004年
6 王清;基于FMEA和FTA的故障诊断技术及其在DEH系统中的应用[D];华北电力大学(北京);2004年
7 韩冰;高速公路软基处理决策问题智能化技术的研究[D];武汉理工大学;2004年
8 彭挺;高速公路沥青路面养护维修专家系统研究[D];长安大学;2004年
9 王岭;珠江三角洲地区大面积软土地基处理方法的研究[D];广东工业大学;2005年
10 熊丛博;软基处理方法的优化选择及地基沉降的可靠性研究[D];中国海洋大学;2005年
【二级引证文献】
中国期刊全文数据库 前10条
1 卿晓霞;肖丹;王波;;能耗实时监测的数据挖掘方法[J];重庆大学学报;2012年07期
2 吴艳;陈忠进;乐志文;;Harris角点检测与AP聚类结合的车牌定位方法[J];广西科技大学学报;2014年02期
3 田家瑞;张文政;周颖杰;冯震;;骨干通信网络流量告警信息关联分析[J];计算机应用研究;2011年01期
4 邓玉洁;朱庆生;;基于聚类的离群点分析方法[J];计算机应用研究;2012年03期
5 蔡超;左小清;陈震霆;;一种手机定位数据的非运动数据聚类剔除方法[J];交通信息与安全;2010年04期
6 赵战营;成长生;;基于聚类分析局部离群点挖掘改进算法的研究与实现[J];计算机应用与软件;2010年11期
7 唐成龙;邢长征;;基于数据分区和网格的离群点挖掘算法[J];计算机应用;2012年08期
8 王美晶;叶东毅;;改进的基于PSO的离群点检测算法[J];计算机应用;2012年S1期
9 姜立明;柴瑞敏;;基于单元格和属性权重的离群点检测[J];计算机应用与软件;2012年10期
10 钟诗胜;陕振勇;付旭云;王体春;;基于二次指数平滑的发动机气路参数偏差值平滑[J];航空精密制造技术;2012年06期
中国重要会议论文全文数据库 前1条
1 褚丽恒;郭晓泽;宋国杰;吴峻;谢昆青;;基于聚类方法的高速公路逃费甄别与分析[A];第八届中国智能交通年会论文集[C];2013年
中国博士学位论文全文数据库 前2条
1 郭建校;改进的高维非线性PLS回归方法及应用研究[D];天津大学;2010年
2 申彦;大规模数据集高效数据挖掘算法研究[D];江苏大学;2013年
中国硕士学位论文全文数据库 前10条
1 陈文达;基于Squeezer算法与Java技术的WSN入侵检测系统[D];电子科技大学;2010年
2 田家瑞;骨干通信网络异常事件关联分析的不确定性分析[D];电子科技大学;2011年
3 李爱春;Web挖掘在检测网络广告欺诈行为中的研究与应用[D];广东工业大学;2011年
4 张天佑;基于网格划分的高维大数据集离群点检测算法研究[D];中南大学;2011年
5 金昊;内容相关性驱动的Web资源离群点挖掘技术研究与系统实现[D];西南交通大学;2010年
6 侯天子;互联网质量异常挖掘[D];西南交通大学;2011年
7 蔡超;基于手机定位数据的城市路段行程车速提取[D];昆明理工大学;2011年
8 谭艳娜;面向审计领域的聚类离群点检测研究[D];哈尔滨工程大学;2011年
9 张丽华;数据挖掘技术在特殊天体发现中的应用研究[D];山东大学;2009年
10 赵战营;基于SOA技术框架数据分析系统的研究与实践[D];东华大学;2010年
【二级参考文献】
中国期刊全文数据库 前2条
1 沈涛,甘骏人,姚林声;一种可用于布局的人工神经网络[J];电子学报;1992年10期
2 沈涛,甘骏人,姚林声;模糊人工神经网络方法在电路划分问题中的应用[J];计算机学报;1992年09期
【相似文献】
中国期刊全文数据库 前10条
1 胡绍林,黄刘生;非平稳信号的22型双重中值容错滤波算法[J];系统仿真学报;2004年07期
2 李云飞,黄继伟,朱宏;双参数指数分布异常数据的检验[J];电子科技大学学报;2005年01期
3 王和勇;吕威;陈冰川;;基于加速度趋势比较的异常数据清洗研究[J];计算机应用与软件;2010年08期
4 王建州,马志新,李廉;基于混沌的异常数据的动态识别与挖掘[J];清华大学学报(自然科学版);2005年S1期
5 刘洪涛;童德利;陈世福;;一种基于属性的异常点检测算法[J];计算机科学;2005年05期
6 邵婷婷;张水利;张永波;;两种剔除异常数据的方法比较[J];现代电子技术;2008年24期
7 任福栋;孙菲;任福捷;;基于距离和的数据挖掘技术在中考成绩处理中的应用[J];齐齐哈尔大学学报(自然科学版);2010年04期
8 彭求实;电子产品寿命检测中异常数据的检验[J];电子产品可靠性与环境试验;2005年05期
9 蔡菲娜;;基于聚类分析的数字滤波阈值算法[J];数据采集与处理;2006年02期
10 王少华;鲍安平;赵晓平;;PI数据库中实时数据的预处理方法[J];矿山机械;2008年24期
中国重要会议论文全文数据库 前10条
1 金莹;汤银才;;Weibull分布下异常数据的线性检验方法[A];中国现场统计研究会第12届学术年会论文集[C];2005年
2 孙舒;刘莉;张瑛;;基于典型负荷模式的异常数据处理[A];中国高等学校电力系统及其自动化专业第二十四届学术年会论文集(中册)[C];2008年
3 韩秀英;;体育测量中剔除异常数据的方法[A];体质研究与健康促进论文集[C];2006年
4 胡绍林;黄刘生;;非平稳信号的2(?)2型双重中值容错滤波算法[A];2003年中国智能自动化会议论文集(下册)[C];2003年
5 胡峰;孙国基;;线性模型系数的有界影响辨识[A];1998年中国智能自动化学术会议论文集(下册)[C];1998年
6 龚家军;刘国臻;;防雷检测异常数据产生的原因与解决方法[A];2006年湖北省气象学会学术年会暨湖北省第一届防雷论坛学术论文详细文摘汇集[C];2006年
7 孙亚;皮晓亮;;环形检测线圈采集信息数据预备技术的研究及应用[A];第一届中国智能交通年会论文集[C];2005年
8 彭惠英;姚斯里;卢伟东;蔡玲玲;王燕玲;王南燕;;地面气象记录人工与遥测异常数据的处理方法[A];第26届中国气象学会年会人工影响天气与大气物理学分会场论文集[C];2009年
9 郑凯;;建立多维数据异常点识别方法的尝试[A];第八届全国体育科学大会论文摘要汇编(一)[C];2007年
10 陈徐梅;周学芹;;货票相关信息采集系列软件设计[A];铁道部信息技术中心成立30周年暨铁路运输管理信息系统(TMIS)工程全面竣工投产TMIS工程建设论文专辑(二)[C];2005年
中国重要报纸全文数据库 前10条
1 萧文朱春凤 胡清水;发票异常数据定期通报[N];中国税务报;2007年
2 萧文钟再利 胡清水;分析电子档案 锁定异常数据[N];中国税务报;2008年
3 何晓华徐云翔;参数化执法检查:从异常数据中找问题[N];中国税务报;2007年
4 萧文李移风 韩冰 胡清水;信息比对锁定医药经销企业异常数据[N];中国税务报;2007年
5 通讯员 王文海 姜荣;盐城地税积极推进信息化[N];财会信报;2008年
6 黄晓锋季云;通州地税局六分局 深化数据应用[N];江苏经济报;2007年
7 熊志刚 韩天雪;异常数据挖掘与反保险欺诈[N];中国保险报;2006年
8 叶家全 向梅;ATC系统测试平台关键技术通过部级鉴定[N];中国民航报;2007年
9 阮力;北京完成住宿设施接待日报监测[N];中国信息报;2007年
10 向前贠相忠;管理前置:事前给数据作“健康检查”[N];中国税务报;2007年
中国博士学位论文全文数据库 前10条
1 姚卫新;智能数据分析中异常数据的集成化管理方法研究[D];复旦大学;2004年
2 朱宏;异常观测数据处理及不确定大系统的鲁棒镇定[D];四川大学;2003年
3 曾绍华;支持向量回归机算法理论研究与应用[D];重庆大学;2006年
4 钟慧湘;基本矩阵计算方法的研究[D];吉林大学;2005年
5 温建宁;供应链管理及统计数据识别处理研究[D];兰州大学;2008年
6 刘彬生;基于小波和傅立叶变换的道路交通量预测研究[D];哈尔滨工业大学;2006年
7 李光强;时空异常探测理论与方法[D];中南大学;2009年
8 毛李帆;电网规划中长期负荷预测技术的研究[D];湖南大学;2011年
9 叶彬;混合智能建模技术及其在短期负荷预测中的应用研究[D];浙江大学;2006年
10 皮建勇;分布式并行系统若干安全技术的研究[D];电子科技大学;2008年
中国硕士学位论文全文数据库 前10条
1 张慧娟;异常数据检验的几种方法[D];燕山大学;2012年
2 高玉霞;多维数据异常点识别方法的研究[D];沈阳体育学院;2010年
3 乐立利;观测数据的异常值统计检验方法研究[D];中南大学;2008年
4 徐晨;异常数据均匀分布检验法的研究[D];东北大学;2006年
5 李云飞;异常观测数据的统计检测方法研究[D];电子科技大学;2005年
6 孟静;异常数据挖掘算法研究与应用[D];江南大学;2013年
7 韩成栋;政府规模、政府的保护职能与经济增长[D];东北财经大学;2007年
8 汪秀元;基于异常检测的入侵检测系统设计与实现[D];北方工业大学;2004年
9 郧刚;基于异常数据的智能故障诊断探究[D];厦门大学;2007年
10 肖晶;基于人体舒适度指数负荷特性分析方法的研究[D];东南大学;2005年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026