收藏本站
《大连理工大学》 2004年
收藏 | 手机打开
二维码
手机客户端打开本文

数据挖掘相关算法的研究与平台实现

李秋丹  
【摘要】:随着计算机的普及、大容量存储技术的发展以及条形码等数据获取设备的广泛应用,人们在日常事务处理和科学研究中积累了大量的各种类型数据。这些历史数据背后蕴藏了对决策有重要参考价值的信息,因而如何充分、有效利用这些历史数据是目前人们所关注的问题。数据仓库、联机分析处理和数据挖掘技术为解决这一问题提供了有效的途径。 本文以辽阳地区电力调度决策分析系统和青岛交通银行银行卡系统为实际应用背景,围绕着数据挖掘系统应当具备的特点,分别从交互式、多层次挖掘,复杂数据类型—时间序列相似挖掘,集成化挖掘,挖掘平台的构建及行业应用角度,对数据挖掘的相关方法进行研究。在此基础上,设计并实现了一个基于数据仓库的联机分析挖掘平台。主要研究内容包括: 一、研究挖掘空间定位问题。挖掘空间定位就是寻找反映所分析问题(分类/预测)的重要维度的过程,这一过程实质上是知识的约简过程。本文提出了一个解决挖掘空间定位问题的知识约简方法。该方法将粗集理论与并行遗传算法有机结合,具有良好的鲁棒性和全局寻优能力,可以快速、有效地帮助用户定位挖掘空间,提高挖掘效率和准确性。该问题的解决对于数据仓库中立方体的构建也有重要的指导意义。这同时也表明,并行思想的引入对于知识约简在解决大数据量问题时具有较大的实际意义,有广阔的应用前景。 二、研究时间序列数据的相似匹配问题。本文提出了基于小波包变换的时间序列相似匹配新方法,并用于时序相似模式挖掘。该方法在原有小波变换方法的基础上,充分利用小波包可对信号进行更加精细分析的优点,同时考虑尺度信息和细节信息,使得约简后的特征向量包含更多的时间序列有效信息。用多维索引结构尺树存储这些特征向量,使用欧几里德距离作为相似尺度,进行范围查询和k近邻查询。将该方法应用于电力负荷相似模式挖掘,得到了较好的效果,挖掘出的相似负荷模式对于调度计划安排、电力系统经济运行具有重要的实际意义。 三、研究粗集和神经网络的集成化问题。为充分发挥粗集和神经网络的优势,提高挖掘精度,本文通过前面提出的并行遗传约简算法快速选取神经网络的输入空间和训练数据,采用神经网络对精简后的数据进行挖掘。此集成化方法充分发挥了二者的优势,即粗集的约简知识的能力和神经网络精度高的特点,应用于银行卡客户特征分析中,取得了很好的效果。并行约简算法的引入可以进一步提高粗集和神经网络集成化方法的整体挖掘效率。 四、以上述研究内容为基础,论述基于数据仓库的联机分析挖掘平台SEI_OLAM及其在地区电力调度决策分析和银行卡分析领域中的应用。本文首先给出了SEI_OLAM的体系结构和主要功能;接着介绍了其各组成部分—数据仓库、联机分析及数据挖掘的设计与实现方法。根据行业应用特点,平台算法库中除包含常用挖掘算法外,还加入了本文上面提出的方法,在行业应用中取得了良好的效果。最后,给出了该平台在地区电 力调度决策分析、银行卡分析领域的应用实例。作为本文主要研究内容的实际工程背景, 这些项目最终能够开发成功使得本文所提方法和所开发平台的有效性和实用性得到了 很好的验证。 总之,在借鉴国内外最新研究成果的基础上,本文分别从交互式、多层次挖掘,复 杂数据类型一时间序列相似挖掘,集成化挖掘,挖掘平台的构建及行业应用角度,对数 据挖掘中的相关算法进行研究,在此基础上,设计并实现了一个基于数据仓库的联机分 析挖掘平台sEI_OLAM并成功应用于地区电力调度决策分析和银行卡分析领域,为这些 领域的分析人员提供了有力的决策支持手段,得到了用户的好评。
【学位授予单位】:大连理工大学
【学位级别】:博士
【学位授予年份】:2004
【分类号】:TP311.13

知网文化
【引证文献】
中国期刊全文数据库 前3条
1 谢锦男;;港口物流行业的数据挖掘与辅助决策系统设计[J];中国储运;2011年08期
2 耿向华;;基于Apriori算法的旅游商务消费模式研究[J];电脑知识与技术;2012年17期
3 耿向华;谭晶晶;;个性化消费模式在旅游商务系统中的应用[J];河南工程学院学报(自然科学版);2013年01期
中国博士学位论文全文数据库 前2条
1 祖巧红;基于实例的OLAM技术及其多维可视化研究[D];武汉理工大学;2007年
2 单东升;板带轧机液压AGC系统主要参数的分析和实验研究[D];燕山大学;2006年
中国硕士学位论文全文数据库 前10条
1 王宏云;基于数据挖掘的煤矿安全监测系统研究[D];辽宁工程技术大学;2009年
2 吴军;天津港决策支持系统平台的设计与实现[D];大连海事大学;2010年
3 陈晖;数据挖掘技术在投资管理中的应用研究[D];华东师范大学;2011年
4 林祎珣;数据挖掘技术在海上交通特征分析中的应用研究[D];集美大学;2011年
5 叶永生;面向烟草商业CRM系统的研究与应用设计[D];合肥工业大学;2007年
6 琚锋;基于成矿区带基础数据库的空间数据挖掘技术研究[D];中国地质大学;2007年
7 张向兵;考试相关数据标准和统计分析[D];天津大学;2007年
8 唐志恩;数据挖掘在经济预测中的应用研究[D];电子科技大学;2008年
9 何瑞江;利用呼叫指纹挖掘电信重入网客户[D];兰州大学;2009年
10 唐亮;基于神经网络的旅游突发事件预测研究[D];北京邮电大学;2009年
【参考文献】
中国期刊全文数据库 前7条
1 陈栋;刘兵;徐洁磐;;KDD研究现状及发展[J];计算机科学;1996年06期
2 王清毅;陈恩红;蔡庆生;;知识发现的若干问题及应用研究[J];计算机科学;1997年05期
3 欧阳为民;蔡庆生;;数据库中的时态数据发掘研究[J];计算机科学;1998年04期
4 段立娟;高文;王伟强;;时序数据库中相似序列的挖掘[J];计算机科学;2000年05期
5 张保稳;何华灿;;时态数据挖掘研究进展[J];计算机科学;2002年02期
6 冯红伟;李战怀;张保稳;;时间序列的模糊匹配方法[J];计算机科学;2002年04期
7 黄河;熊范纶;杭小树;黄轲;;时序数据库中快速相似搜索的算法研究[J];模式识别与人工智能;2003年02期
【共引文献】
中国期刊全文数据库 前10条
1 吴大宏,赵人达;基于遗传算法与神经网络的桥梁结构健康监测系统研究初探[J];四川建筑科学研究;2002年03期
2 谢勇谋,谭光杰,胥良;利用人工神经网络由静力触探推算液化指数[J];四川建筑科学研究;2004年02期
3 张世海,刘晓燕,欧进萍;高层结构智能选型知识发现及方法比较[J];四川建筑科学研究;2005年05期
4 丁声荣;霍艳华;姜新佩;;混凝土强度预测的混合神经网络模型[J];四川建筑科学研究;2010年06期
5 邓建斌;叶洪江;;基于混沌遗传算法的配电网无功补偿优化[J];安徽电气工程职业技术学院学报;2006年03期
6 乔志杰;程翠翠;;基于遗传算法优化的模糊PID控制研究及其仿真[J];安徽电气工程职业技术学院学报;2009年03期
7 孙娜;;基于数据仓库技术的电力设备决策系统[J];安徽电气工程职业技术学院学报;2010年01期
8 张安勤;数据挖掘与进化算法[J];安徽教育学院学报;2002年03期
9 潘洁珠;半结构化数据及其数据模型[J];安徽教育学院学报;2003年06期
10 徐文婷;李承鹏;;基于自适应遗传算法的离散化方法[J];合肥师范学院学报;2011年03期
中国重要会议论文全文数据库 前10条
1 齐继阳;竺长安;曾议;;基于遗传禁忌混合搜索算法的设备布局研究[A];2004“安徽制造业发展”博士科技论坛论文集[C];2004年
2 杨益;方潜生;汪力君;;基于Handel-C的数字芯片的设计方法研究与实现[A];2005年“数字安徽”博士科技论坛论文集[C];2005年
3 章曙光;;基于CBR的电力负荷预测系统的研究与实现[A];2005年“数字安徽”博士科技论坛论文集[C];2005年
4 胡杨林;蒋洁琼;王明煌;曾勤;邱岳峰;邹俊;陈红丽;FDS team;;聚变裂变混合堆长寿命锕系废料嬗变处理的中子学优化分析[A];安徽新能源技术创新与产业发展博士科技论坛论文集[C];2010年
5 宋亚男;刘春和;李新俊;齐俊臣;;导弹贮存可靠性数据仓库的研究与设计[A];中国电子学会可靠性分会第十三届学术年会论文选[C];2006年
6 危前进;董荣胜;孟瑜;崔更申;;基于粗糙集的机械装配知识发现方法[A];广西计算机学会25周年纪念会暨2011年学术年会论文集[C];2011年
7 丁婷;崔红涛;;遗传算法在智能天线扇区波束赋形及阵元失效补偿中的应用[A];经济策论(上)[C];2011年
8 ;Fuzziness in Covering Generalized Rough Sets[A];第二十六届中国控制会议论文集[C];2007年
9 周炎涛;唐剑波;王家琴;;基于信息熵的改进TFIDF特征选择算法[A];第二十六届中国控制会议论文集[C];2007年
10 李雄;党生;;基于Rough集理论的战场侦察情报处理[A];第二十六届中国控制会议论文集[C];2007年
中国博士学位论文全文数据库 前10条
1 王杰;基于人工智能的乒乓球比赛技战术诊断与评估研究[D];上海体育学院;2010年
2 李佳;载人潜器阻力性能的数值和试验预报及外形优化研究[D];哈尔滨工程大学;2010年
3 张亚娟;适应性企业战略协同机制研究[D];哈尔滨工程大学;2010年
4 谭枫;介入式文化算法及其应用研究[D];哈尔滨工程大学;2010年
5 陆满君;通信辐射源个体识别与参数估计[D];哈尔滨工程大学;2010年
6 殷志伟;基于统计学习理论的分类方法研究[D];哈尔滨工程大学;2009年
7 姜延吉;多传感器数据融合关键技术研究[D];哈尔滨工程大学;2010年
8 李晚龙;六自由度Stewart平台分散智能控制研究[D];哈尔滨工程大学;2010年
9 董慧群;代建制项目风险预警管理研究[D];辽宁工程技术大学;2010年
10 许爱德;开关磁阻电机在船舶电力推进中的应用研究[D];大连海事大学;2010年
中国硕士学位论文全文数据库 前10条
1 赫英毅;毫米波段基于TE_(21)模差网络设计[D];中国工程物理研究院;2009年
2 万成;动态环境下的元胞遗传算法研究[D];南昌航空大学;2010年
3 李坤;参数参与进化的自适应遗传算法研究[D];南昌航空大学;2010年
4 李金华;基于SVM的多类文本分类研究[D];山东科技大学;2010年
5 吴香庭;基于遗传算法的K-means聚类方法的研究[D];山东科技大学;2010年
6 马水松;多目标遗传算法与非支配集的构造研究[D];山东科技大学;2010年
7 李臻;城市公交车辆智能调度优化研究[D];山东科技大学;2010年
8 朱国凯;泰安市农村公路典型路面结构研究[D];山东科技大学;2010年
9 王辉;基于改进遗传算法的物流配送路径优化研究[D];山东科技大学;2010年
10 纪二云;基于改进遗传算法的电力系统无功优化的研究[D];山东科技大学;2010年
【同被引文献】
中国期刊全文数据库 前10条
1 赵群礼;;基于FP-Tree的最大频繁项目集综合更新算法[J];安徽教育学院学报;2006年03期
2 李凤翔;冷轧薄板技术新发展[J];鞍钢技术;1985年12期
3 唐永成,曹静平,高章红;安徽东部地区金矿资源GIS评价[J];安徽地质;2000年02期
4 肖至勇,张伟,宋接;基于激光测速仪的秒流量控制AGC[J];宝钢技术;2004年01期
5 陈萍,李东亭;2030mm冷轧平整机延伸率控制系统的研究[J];宝钢技术;2004年04期
6 朱义国;宝钢1420轧机AGC系统分析[J];宝钢技术;2005年S1期
7 顾洪家;;酸轧联合机组速度优化控制技术的应用[J];宝钢技术;2007年04期
8 邱怀姗,朱群雄;基于MS Analysis Services的OLAP分析系统的设计与实现[J];北京化工大学学报(自然科学版);2004年01期
9 于丽杰,王京;监控AGC系统的智能PID控制策略[J];北京科技大学学报;2005年01期
10 马锐,尤定华;决策支持系统开发工具的模型管理技术[J];北京理工大学学报;2001年02期
中国重要会议论文全文数据库 前2条
1 于乃功;阮晓钢;;青霉素发酵过程优化控制问题及方法研究[A];第二十二届中国控制会议论文集(上)[C];2003年
2 蔡正国;;数据挖掘技术在设备诊断领域中的应用研究展望[A];设备监测与诊断技术及其应用——第十二届全国设备监测与诊断学术会议论文集[C];2005年
中国博士学位论文全文数据库 前10条
1 高英杰;轧机AGC液压系统故障诊断技术的研究[D];燕山大学;2000年
2 冯红伟;数据挖掘技术的研究及应用[D];西北工业大学;2002年
3 毛国君;数据挖掘技术与关联规则挖掘算法研究[D];北京工业大学;2003年
4 谭征兵;矿产资源GIS评价系统及成矿预测BP模型[D];中国地质大学(北京);2003年
5 克里木;自适应数据仓库系统的研究与实现[D];大连理工大学;2003年
6 王莉;数据挖掘中聚类方法的研究[D];天津大学;2004年
7 郭秀娟;基于关联规则数据挖掘算法的研究[D];吉林大学;2004年
8 罗可;数据库中数据挖掘理论方法及应用研究[D];湖南大学;2005年
9 王占全;基于地理信息系统空间数据挖掘若干关键技术的研究[D];浙江大学;2005年
10 陈伟;数据清理关键技术及其软件平台的研究与应用[D];南京航空航天大学;2005年
中国硕士学位论文全文数据库 前10条
1 吴启南;一种改进的基于层次的聚类和异常检测算法及其在数据挖掘平台上的应用[D];新疆大学;2002年
2 郑洪英;数据挖掘聚类算法的分析和应用研究[D];重庆大学;2002年
3 柯浚;CRM(客户关系管理)实施初步研究[D];河海大学;2003年
4 刘振岩;数据挖掘分类算法的研究与应用[D];首都师范大学;2003年
5 赵斌;关联规则分布式挖掘算法研究和实现[D];南京师范大学;2003年
6 司亚静;CRM中客户保持问题的研究[D];河北工业大学;2002年
7 李安;数据挖掘算法研究[D];大连海事大学;2003年
8 汪毅;面向零售业客户关系管理的数据挖掘模型研究[D];湖南大学;2003年
9 孙建国;空间数据挖掘技术在林业中的应用[D];西北师范大学;2003年
10 李海宏;基于企业数据仓库系统的数据挖掘工具的实现[D];四川大学;2003年
【二级引证文献】
中国期刊全文数据库 前5条
1 陈旭辉;刘东坡;武玉杰;;中间存储的联机分析关联规则挖掘方法[J];厦门理工学院学报;2012年02期
2 王汉斌;李晓峰;;旅游危机预警的BP神经网络模型及应用[J];科技管理研究;2012年24期
3 肖帅帅;;基于数值分析推算船舶航行轨迹算法的实现[J];科技视界;2013年01期
4 肖娟;;数据挖掘在物流业的应用综述[J];统计与决策;2013年11期
5 张颖;陈荣刚;宋美萍;崔倞;;基于在线检测信息的储罐底板腐蚀状态智能评价方法[J];中国安全科学学报;2011年07期
中国博士学位论文全文数据库 前2条
1 齐行祥;基于个性化虚拟人台的服装合体性评价模型研究[D];东华大学;2011年
2 巩建光;面向电信领域的数据挖掘关键技术研究[D];哈尔滨工程大学;2012年
中国硕士学位论文全文数据库 前10条
1 高希瑞;基于文本挖掘的企业危机预警研究[D];华东师范大学;2011年
2 丁雷;变厚度板材的轧制技术及其厚度控制模型研究[D];太原科技大学;2011年
3 崔莹;多源地质空间数据挖掘方法及应用[D];电子科技大学;2011年
4 陈翠翠;基于数据挖掘的分析型CRM系统设计与实现[D];电子科技大学;2011年
5 陈荣刚;基于在线检测信息的储罐底板腐蚀状态智能评价方法研究[D];东北石油大学;2011年
6 王静;基于熵原理的电能质量综合评估新方法[D];天津大学;2010年
7 赵娜;基于环保科技的CRM系统客户关怀与服务管理流程的设计[D];天津大学;2012年
8 宣国庆;基于神经网络交叉覆盖算法的学生成绩预测[D];安徽大学;2011年
9 李亚哲;基于数据挖掘技术的求职招聘系统设计与实现[D];河北科技大学;2012年
10 王春;基于Baosteel电子商务的CRM研究及应用[D];东华大学;2012年
【相似文献】
中国期刊全文数据库 前10条
1 丁纪云,蔡春娥;利用构造数据集评定数据挖掘过程的方法[J];湖南广播电视大学学报;2001年02期
2 任承业,罗伟其;校园信息系统中CRM与数据挖掘的结合和应用[J];计算机工程与应用;2003年13期
3 王艳;数据挖掘在数字图书馆中的应用[J];情报科学;2003年02期
4 邵红全,赵茜;用SQL Server2000实现数据挖掘的技术与策略[J];电脑开发与应用;2003年04期
5 耿庆鹏,卢子芳;利用数据挖掘技术实现对电信行业用户欺诈行为的预测[J];电信快报;2003年10期
6 蒋良孝,蔡之华;基于数据仓库的数据挖掘研究[J];计算技术与自动化;2003年03期
7 叶静,蔡之华;遥感图像中的数据挖掘应用概述[J];计算机与现代化;2003年10期
8 黄解军,万幼川,潘和平;银行客户关系管理与数据挖掘的应用[J];计算机工程与设计;2003年07期
9 崔强,朱卫东;基于数据挖掘的铁路机务段成本控制系统[J];铁路计算机应用;2003年01期
10 杨思春;基于数据仓库的数据挖掘技术分析研究[J];微机发展;2003年09期
中国重要会议论文全文数据库 前10条
1 郭学军;陈晓云;;粗集方法在数据挖掘中的应用[A];第十六届全国数据库学术会议论文集[C];1999年
2 徐慧;;基于Web的文献数据挖掘[A];第十七届全国数据库学术会议论文集(技术报告篇)[C];2000年
3 孙迎;;医院信息的数据挖掘与方法研究[A];中华医学会第十次全国医学信息学术会议论文汇编[C];2004年
4 薛晓东;李海玲;;数据挖掘的客户关系管理应用[A];科技、工程与经济社会协调发展——河南省第四届青年学术年会论文集(下册)[C];2004年
5 郭建文;黄燕;印鉴;杨小波;梁兆辉;;建立中风病“阴阳类证”辨证规范的数据挖掘研究[A];中华医学会第十三次全国神经病学学术会议论文汇编[C];2010年
6 薛鲁华;张楠;;聚类分析在Web数据挖掘中的应用[A];北京市第十三次统计科学讨论会论文选编[C];2006年
7 朱扬勇;黄超;;基于多维模型的交互式数据挖掘框架[A];第二十届全国数据库学术会议论文集(技术报告篇)[C];2003年
8 陈涛;胡学钢;陈秀美;;基于数据挖掘的教学质量评价体系分析[A];全国第21届计算机技术与应用学术会议(CACIS·2010)暨全国第2届安全关键技术与应用学术会议论文集[C];2010年
9 王星;谢邦昌;戴稳胜;;数据挖掘在保险业中的应用[A];北京市第十二次统计科学讨论会论文选编[C];2003年
10 郭建文;黄燕;印鉴;杨小波;梁兆辉;;建立中风病阴阳类证辨证规范的数据挖掘研究[A];2010中国医师协会中西医结合医师大会摘要集[C];2010年
中国重要报纸全文数据库 前10条
1 李开宇 黄建军 田长春;把“数据挖掘”作用发挥出来[N];中国国防报;2009年
2 华莱士;“数据挖掘”让银行赢利更多[N];国际金融报;2003年
3 记者 晏燕;数据挖掘让决策者告别“拍脑袋”[N];科技日报;2006年
4 □中国电信股份有限公司北京研究院 张舒博 □北京邮电大学计算机科学与技术学院 牛琨;走出数据挖掘的误区[N];人民邮电;2006年
5 张立明;数据挖掘之道[N];网络世界;2003年
6 中圣信息技术有限公司 李辉;数据挖掘在CRM中的作用[N];中国计算机报;2001年
7 田红生;数据挖掘在CRM中的应用[N];中国经济时报;2002年
8 王广宇;数据挖掘 加速银行CRM一体化[N];中国计算机报;2004年
9 周蓉蓉;数据挖掘需要点想像力[N];计算机世界;2004年
10 张舒博;数据挖掘 提升品牌的好帮手[N];首都建设报;2009年
中国博士学位论文全文数据库 前10条
1 孙丽;工艺知识管理及其若干关键技术研究[D];大连交通大学;2005年
2 胡志坤;复杂有色金属熔炼过程操作模式智能优化方法研究[D];中南大学;2005年
3 刘革平;基于数据挖掘的远程学习评价研究[D];西南师范大学;2005年
4 刘寨华;基于临床数据分析的病毒性心肌炎证候演变规律研究[D];黑龙江中医药大学;2006年
5 王川;基因芯片数据管理及数据挖掘[D];中国科学院研究生院(上海生命科学研究院);2004年
6 王涛;挖掘序列模式和结构化模式的精简集[D];华中科技大学;2006年
7 郭斯羽;动态数据中的数据挖掘研究[D];浙江大学;2002年
8 李旭升;贝叶斯网络分类模型研究及其在信用评估中的应用[D];西南交通大学;2007年
9 刘东升;面向连锁零售企业的客户关系管理模型(R-CRM)研究[D];浙江工商大学;2008年
10 余红;网络时政论坛舆论领袖研究[D];华中科技大学;2007年
中国硕士学位论文全文数据库 前10条
1 廖赛恩;养生方数据挖掘分析系统的研制[D];湖南中医药大学;2010年
2 李坤然;数据挖掘在股市趋势预测的应用研究[D];中南林业科技大学;2008年
3 郑宏;数据挖掘可视化技术的研究与实现[D];西安电子科技大学;2010年
4 杜金刚;数据挖掘在电信客户关系管理及数据业务营销中的应用[D];北京邮电大学;2010年
5 徐路;基于决策树的数据挖掘算法的研究及其在实际中的应用[D];电子科技大学;2009年
6 梁小鸥;数据挖掘在高职教学管理中的应用[D];华南理工大学;2011年
7 王浩;数据挖掘在上海市职业能力考试院招录考试优化管理项目中的运用研究[D];华东理工大学;2012年
8 黎卫英;数据挖掘在中职幼教课程改革中的应用[D];福建师范大学;2009年
9 张煜辉;数据挖掘和SPC在生产过程质量控制中应用研究[D];上海交通大学;2009年
10 刘华敏;数据挖掘在高职院校学生成绩分析中的应用[D];安徽大学;2011年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026