收藏本站
《大连理工大学》 2004年
收藏 | 手机打开
二维码
手机客户端打开本文

数据挖掘相关算法的研究与平台实现

李秋丹  
【摘要】:随着计算机的普及、大容量存储技术的发展以及条形码等数据获取设备的广泛应用,人们在日常事务处理和科学研究中积累了大量的各种类型数据。这些历史数据背后蕴藏了对决策有重要参考价值的信息,因而如何充分、有效利用这些历史数据是目前人们所关注的问题。数据仓库、联机分析处理和数据挖掘技术为解决这一问题提供了有效的途径。 本文以辽阳地区电力调度决策分析系统和青岛交通银行银行卡系统为实际应用背景,围绕着数据挖掘系统应当具备的特点,分别从交互式、多层次挖掘,复杂数据类型—时间序列相似挖掘,集成化挖掘,挖掘平台的构建及行业应用角度,对数据挖掘的相关方法进行研究。在此基础上,设计并实现了一个基于数据仓库的联机分析挖掘平台。主要研究内容包括: 一、研究挖掘空间定位问题。挖掘空间定位就是寻找反映所分析问题(分类/预测)的重要维度的过程,这一过程实质上是知识的约简过程。本文提出了一个解决挖掘空间定位问题的知识约简方法。该方法将粗集理论与并行遗传算法有机结合,具有良好的鲁棒性和全局寻优能力,可以快速、有效地帮助用户定位挖掘空间,提高挖掘效率和准确性。该问题的解决对于数据仓库中立方体的构建也有重要的指导意义。这同时也表明,并行思想的引入对于知识约简在解决大数据量问题时具有较大的实际意义,有广阔的应用前景。 二、研究时间序列数据的相似匹配问题。本文提出了基于小波包变换的时间序列相似匹配新方法,并用于时序相似模式挖掘。该方法在原有小波变换方法的基础上,充分利用小波包可对信号进行更加精细分析的优点,同时考虑尺度信息和细节信息,使得约简后的特征向量包含更多的时间序列有效信息。用多维索引结构尺树存储这些特征向量,使用欧几里德距离作为相似尺度,进行范围查询和k近邻查询。将该方法应用于电力负荷相似模式挖掘,得到了较好的效果,挖掘出的相似负荷模式对于调度计划安排、电力系统经济运行具有重要的实际意义。 三、研究粗集和神经网络的集成化问题。为充分发挥粗集和神经网络的优势,提高挖掘精度,本文通过前面提出的并行遗传约简算法快速选取神经网络的输入空间和训练数据,采用神经网络对精简后的数据进行挖掘。此集成化方法充分发挥了二者的优势,即粗集的约简知识的能力和神经网络精度高的特点,应用于银行卡客户特征分析中,取得了很好的效果。并行约简算法的引入可以进一步提高粗集和神经网络集成化方法的整体挖掘效率。 四、以上述研究内容为基础,论述基于数据仓库的联机分析挖掘平台SEI_OLAM及其在地区电力调度决策分析和银行卡分析领域中的应用。本文首先给出了SEI_OLAM的体系结构和主要功能;接着介绍了其各组成部分—数据仓库、联机分析及数据挖掘的设计与实现方法。根据行业应用特点,平台算法库中除包含常用挖掘算法外,还加入了本文上面提出的方法,在行业应用中取得了良好的效果。最后,给出了该平台在地区电 力调度决策分析、银行卡分析领域的应用实例。作为本文主要研究内容的实际工程背景, 这些项目最终能够开发成功使得本文所提方法和所开发平台的有效性和实用性得到了 很好的验证。 总之,在借鉴国内外最新研究成果的基础上,本文分别从交互式、多层次挖掘,复 杂数据类型一时间序列相似挖掘,集成化挖掘,挖掘平台的构建及行业应用角度,对数 据挖掘中的相关算法进行研究,在此基础上,设计并实现了一个基于数据仓库的联机分 析挖掘平台sEI_OLAM并成功应用于地区电力调度决策分析和银行卡分析领域,为这些 领域的分析人员提供了有力的决策支持手段,得到了用户的好评。
【学位授予单位】:大连理工大学
【学位级别】:博士
【学位授予年份】:2004
【分类号】:TP311.13

【引证文献】
中国博士学位论文全文数据库 前1条
1 祖巧红;基于实例的OLAM技术及其多维可视化研究[D];武汉理工大学;2007年
中国硕士学位论文全文数据库 前2条
1 琚锋;基于成矿区带基础数据库的空间数据挖掘技术研究[D];中国地质大学;2007年
2 叶永生;面向烟草商业CRM系统的研究与应用设计[D];合肥工业大学;2007年
【共引文献】
中国期刊全文数据库 前10条
1 应飚,楼伟进;软件组件技术与知识发现系统[J];计算机工程与设计;2000年06期
2 刘伯运;常汉宝;欧阳光耀;;基于数据仓库和信息挖掘的柴油机维修决策支持系统[J];船海工程;2005年06期
3 吴力合,吕宏伟;决策支持系统新技术的研究[J];武警工程学院学报;2001年06期
4 楼伟进,孔繁胜;软件组件技术与知识发现系统[J];微型电脑应用;1999年12期
5 许龙飞;基于Web的数据库技术与应用[J];现代计算机;2000年02期
6 薛慧君;旭日;;数据挖掘技术及其在电子商务中的应用研究[J];内蒙古农业大学学报(自然科学版);2005年04期
7 陈江平;空间关联规则挖掘算法研究[J];计算机工程;2004年23期
8 陈海庆 ,赵峰 ,金莉 ,方新城;时态数据的一种挖掘算法[J];计算机与数字工程;2003年02期
9 张红云,马垣;数据挖掘与决策支持系统的关系[J];鞍山师范学院学报;2001年03期
10 王冰清,怀进鹏;IDSS 中数据仓库和数据挖掘的研究与实现[J];北京航空航天大学学报;1998年04期
中国重要会议论文全文数据库 前10条
1 杨静;;基于数据仓库决策分析的电力系统应用研究[A];安徽省电机工程学会优秀学术论文集(2002-2003)[C];2005年
2 田占东;张振宇;;用遗传算法确定反应速率方程参数[A];第三届全国爆炸力学实验技术交流会论文集[C];2004年
3 庞清乐;曹银杰;穆健;郎丰法;;基于粗集理论的小电流接地系统故障选线研究[A];2006年首届ICT大会信息、知识、智能及其转换理论第一次高峰论坛会议论文集[C];2006年
4 谢刚;;基于变精度粗集的战略石油储备规模预测方法[A];提高全民科学素质、建设创新型国家——2006中国科协年会论文集[C];2006年
5 刘洁;李小昱;李培武;王为;张荣荣;张军;;数据处理方法在近红外光谱分析中的应用进展[A];节能环保 和谐发展——2007中国科协年会论文集(三)[C];2007年
6 孟少朋;骆红云;李盛;;基于数据挖掘的汽车可靠性分析方法研究[A];2007年全国失效分析学术会议论文集[C];2007年
7 刘大为;蔡国伟;刘德福;丁丽娟;;基于改进遗传算法的配电网电容器优化投切[A];2007中国电机工程学会电力系统自动化专委会供用电管理自动化学科组(分专委会)二届三次会议论文集[C];2007年
8 魏崇辉;金福禄;何亚群;;基于粗糙集和神经网络的空军航材消耗预测方法[A];江苏省自动化学会七届四次理事会暨2004学术年会青年学者论坛论文集[C];2004年
9 孔秋菊;胡寿松;;基于知识的歼击机起飞爬升阶段的故障诊断与报警[A];江苏省自动化学会七届四次理事会暨2004学术年会青年学者论坛论文集[C];2004年
10 朱江华;潘丰;;基于蚁群算法的粗糙集知识约简[A];2005年全国自动化新技术学术交流会论文集[C];2005年
中国博士学位论文全文数据库 前10条
1 陈莉;KDD中的几个关键问题研究[D];西安电子科技大学;2003年
2 王占全;基于地理信息系统空间数据挖掘若干关键技术的研究[D];浙江大学;2005年
3 张宝印;基于矢量的时序图形图像处理技术的研究与实践[D];解放军信息工程大学;2001年
4 柴毅;智能化汽车主动安全系统研究[D];重庆大学;2001年
5 张小刚;关联规则挖掘及其在复杂工业过程控制中的应用研究[D];湖南大学;2002年
6 芮小平;空间信息可视化关键技术研究——以2.5维、三维、多维可视化为例[D];中国科学院研究生院(遥感应用研究所);2004年
7 吴绍春;地震预报中的数据挖掘方法研究[D];上海大学;2005年
8 景旭文;基于数据挖掘的动态全息产品概念设计理论与方法研究[D];东南大学;2005年
9 侯澍旻;时序数据挖掘及其在故障诊断中的应用研究[D];武汉科技大学;2006年
10 王德兴;基于概念格模型关联规则挖掘的关键问题研究[D];合肥工业大学;2007年
中国硕士学位论文全文数据库 前10条
1 高英明;数据挖掘与知识发现(DMKD)及其应用的研究[D];华北电力(北京)大学;2002年
2 沙艳鑫;基于关联规则的网络安全审计技术研究[D];中国人民解放军信息工程大学;2005年
3 徐文斌;基于数据仓库实体化视图的数据一致性维护方法研究[D];中南大学;2004年
4 罗月丰;基于数据挖掘的证券CRM客户细分研究[D];中国地质大学(北京);2006年
5 时文强;基于数据仓库的汽车售后服务OLAP系统的研究与实现[D];西南交通大学;2006年
6 王鑫;数据挖掘中聚类分析算法的研究[D];山东师范大学;2006年
7 袁海峰;时态数据关联规则挖掘方法研究[D];哈尔滨工程大学;2006年
8 查欣;数据挖掘技术在高校管理信息系统中的应用[D];山东大学;2006年
9 董梅;文本内容的信息过滤技术研究[D];合肥工业大学;2006年
10 吴东升;教学信息中的分类知识发现[D];合肥工业大学;2006年
【同被引文献】
中国期刊全文数据库 前10条
1 段铷,张彩庆,刘爱芳;模糊聚类在电力用户分类中的应用[J];电力需求侧管理;2005年05期
2 侯汝锋,蔡泽祥,尹亮,王昌照,马捷然;基于最大负荷预测的地区电网静态安全分析[J];电网技术;2004年23期
3 曲开社,成文丽,王俊红;ID3算法的一种改进算法[J];计算机工程与应用;2003年25期
4 张惟皎,刘春煌,李芳玉;聚类质量的评价方法[J];计算机工程;2005年20期
5 周涓;熊忠阳;张玉芳;任芳;;基于最大最小距离法的多中心聚类算法[J];计算机应用;2006年06期
6 黄永皓,康重庆,夏清,都百青,孟远景,何南强,尚金成,胡左浩;用户分类电价决策方法的研究[J];中国电力;2004年01期
7 贺红,徐宝文;Web信息系统的安全隐患与网络管理员对策[J];计算机工程与应用;2005年18期
8 陈冬林;聂规划;刘平峰;;基于知识网格的电子商务推荐系统设计[J];计算机应用研究;2006年12期
9 邱怀姗,朱群雄;基于MS Analysis Services的OLAP分析系统的设计与实现[J];北京化工大学学报(自然科学版);2004年01期
10 朱创业;地理信息系统在矿产预测中的应用——以华蓥山锶矿带为例[J];成都大学学报(自然科学版);1999年04期
中国重要会议论文全文数据库 前2条
1 于乃功;阮晓钢;;青霉素发酵过程优化控制问题及方法研究[A];第二十二届中国控制会议论文集(上)[C];2003年
2 蔡正国;;数据挖掘技术在设备诊断领域中的应用研究展望[A];设备监测与诊断技术及其应用——第十二届全国设备监测与诊断学术会议论文集[C];2005年
中国博士学位论文全文数据库 前10条
1 高英杰;轧机AGC液压系统故障诊断技术的研究[D];燕山大学;2000年
2 冯红伟;数据挖掘技术的研究及应用[D];西北工业大学;2002年
3 毛国君;数据挖掘技术与关联规则挖掘算法研究[D];北京工业大学;2003年
4 谭征兵;矿产资源GIS评价系统及成矿预测BP模型[D];中国地质大学(北京);2003年
5 克里木;自适应数据仓库系统的研究与实现[D];大连理工大学;2003年
6 王莉;数据挖掘中聚类方法的研究[D];天津大学;2004年
7 郭秀娟;基于关联规则数据挖掘算法的研究[D];吉林大学;2004年
8 罗可;数据库中数据挖掘理论方法及应用研究[D];湖南大学;2005年
9 王占全;基于地理信息系统空间数据挖掘若干关键技术的研究[D];浙江大学;2005年
10 陈伟;数据清理关键技术及其软件平台的研究与应用[D];南京航空航天大学;2005年
中国硕士学位论文全文数据库 前10条
1 吴启南;一种改进的基于层次的聚类和异常检测算法及其在数据挖掘平台上的应用[D];新疆大学;2002年
2 张栒;FCM算法初始化方法研究[D];西南大学;2006年
3 齐晓峰;数据挖掘技术在学生成绩管理中的应用研究[D];辽宁工程技术大学;2006年
4 郑洪英;数据挖掘聚类算法的分析和应用研究[D];重庆大学;2002年
5 柯浚;CRM(客户关系管理)实施初步研究[D];河海大学;2003年
6 刘振岩;数据挖掘分类算法的研究与应用[D];首都师范大学;2003年
7 赵斌;关联规则分布式挖掘算法研究和实现[D];南京师范大学;2003年
8 司亚静;CRM中客户保持问题的研究[D];河北工业大学;2002年
9 李安;数据挖掘算法研究[D];大连海事大学;2003年
10 汪毅;面向零售业客户关系管理的数据挖掘模型研究[D];湖南大学;2003年
【相似文献】
中国期刊全文数据库 前10条
1 崔广才;左思源;;遗传算法信息熵结合属性约简算法研究[J];长春理工大学学报(自然科学版);2008年04期
2 方莹;;瓦斯预测中的BP神经网络融合技术[J];煤炭技术;2011年08期
3 王明春,王正欧;基于粗集与遗传算法相结合的文本模糊聚类方法[J];电子与信息学报;2005年04期
4 李秋丹,迟忠先,王大公;基于数据挖掘技术的负荷预测模型[J];大连理工大学学报;2003年06期
5 翟敬梅,蒋梁中,谢存禧,李杞仪;CIMS环境下企业决策支持系统模型的研究[J];机电工程技术;2002年06期
6 糜元根;数据挖掘方法的评述[J];南京化工大学学报(自然科学版);2001年05期
7 郭平;程代杰;;基于粗集分类和遗传算法的知识库集成方法[J];计算机科学;2003年11期
8 何先华,赵卫东,盛昭瀚;粗集在医疗诊断知识支持中的应用[J];计算机工程与应用;2001年20期
9 于勇,姜兴渭,黄文虎;基于粗集理论和遗传算法的知识获取方法研究[J];宇航学报;2001年03期
10 安利平,张建勇,仝凌云;专家系统中基于粗集的知识获取、更新与推理[J];计算机工程与设计;2004年01期
中国重要会议论文全文数据库 前10条
1 周海清;王恭先;陈正汉;;基于面向对象遗传算法的抗滑桩优化设计程序的研制[A];中国土木工程学会第九届土力学及岩土工程学术会议论文集(下册)[C];2003年
2 吴建生;金龙;;基于实数编码的遗传算法神经网络预报建模研究[A];推进气象科技创新加快气象事业发展——中国气象学会2004年年会论文集(下册)[C];2004年
3 申元霞;张翠芳;;GA-BP算法在系统辨识中的应用[A];中国自动化学会、中国仪器仪表学会2004年西南三省一市自动化与仪器仪表学术年会论文集[C];2004年
4 刘辙;彭亮;崔广才;吴学礼;;混合遗传算法在车间调度中的应用[A];中国自动化学会全国第九届自动化新技术学术交流会论文集[C];2004年
5 曹春红;李文辉;张永坚;;遗传蚂蚁算法在几何约束求解中的应用[A];中国仪器仪表学会第六届青年学术会议论文集[C];2004年
6 姜楠;张春森;;遗传算法在图像模板匹配中的应用[A];高精度几何量光电测量与校准技术研讨会论文集[C];2008年
7 朱秀娥;周宝焜;;振动筛设计的遗传算法[A];福建省科协第三届学术年会装备制造业专题学术年会论文集[C];2003年
8 何奉道;梁向阳;;基于遗传算法的机车周转图优化编制方法[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年
9 刘忠凯;薛正辉;任武;李伟明;高本庆;;用遗传算法优化八木天线[A];2005'全国微波毫米波会议论文集(第二册)[C];2006年
10 汝勇;杨树强;;遗传算法在历史性约束组合优化问题中的应用[A];2010通信理论与技术新发展——第十五届全国青年通信学术会议论文集(上册)[C];2010年
中国重要报纸全文数据库 前10条
1 林京;《神经网络和遗传算法在水科学领域的应用》将面市[N];中国水利报;2002年
2 程爱娟;旅行推销员问题(TSP)的人工智能解法及其应用[N];新疆科技报(汉);2001年
3 中国科技大学计算机系 邢方亮;计算智能百花齐放[N];计算机世界;2003年
4 包家庆;IDS五大发展趋势[N];网络世界;2002年
5 郭明波;来自蝙蝠的启发[N];北京科技报;2001年
6 易水;IT新词集锦[N];计算机世界;2003年
7 高澜庆;矿山企盼智能化[N];中国矿业报;2000年
8 顾正华 唐洪武 肖洋 河海大学水利水电工程学院 李云 南京水利科学研究院水工研究所;水流智能模拟大步走来[N];中国水利报;2005年
9 李磊;让电子政务更聪明[N];计算机世界;2001年
10 记者 吴苡婷;用技术挖出网络信息中“金子”[N];上海科技报;2009年
中国博士学位论文全文数据库 前10条
1 张旭;具有拓扑结构布局优化的理论及算法[D];大连理工大学;2004年
2 李秋丹;数据挖掘相关算法的研究与平台实现[D];大连理工大学;2004年
3 廖平;基于遗传算法的形状误差计算研究[D];中南大学;2002年
4 周明;高新技术产业投资环境系统研究[D];西北工业大学;2006年
5 张需溥;小型化微带天线的设计与数值分析[D];上海大学;2004年
6 杨春成;空间数据挖掘中聚类分析算法的研究[D];解放军信息工程大学;2004年
7 方娟;基于移动代理的网格资源监控技术的研究[D];北京工业大学;2005年
8 崔晓芳;箱型结构焊接变形预测、控制及应用[D];大连交通大学;2005年
9 张材;薄带坯铸轧板形智能识别与控制系统研究[D];中南大学;2004年
10 田方;遗传算法的改进研究及其在压缩机性能分析与优化中的应用[D];东北大学;2006年
中国硕士学位论文全文数据库 前10条
1 朱奉梅;遗传算法在高校排课系统中的研究与应用[D];东北大学;2009年
2 孙晓丽;基于遗传算法的既有线平面及纵断面整正优化设计[D];中南大学;2010年
3 冯秋霞;解最小生成树问题的新的遗传算法[D];西安电子科技大学;2010年
4 郭佳;基于遗传算法的认知无线网络资源分配技术研究[D];西安电子科技大学;2010年
5 宋品;基于改进遗传算法的波束形成技术研究及其应用[D];西安电子科技大学;2010年
6 梁云静;基于遗传算法的主题爬虫搜索策略研究[D];湖北工业大学;2010年
7 高建兵;基于遗传算法的模糊推理控制系统的参数优化研究[D];辽宁工程技术大学;2011年
8 李振业;多向变异遗传算法及其优化神经网络的研究[D];华南理工大学;2011年
9 栾丽霞;遗传算法在潍坊商校排课系统的研究与应用[D];电子科技大学;2011年
10 王辉;基于改进遗传算法的物流配送路径优化研究[D];山东科技大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026