收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

数据挖掘相关算法的研究与平台实现

李秋丹  
【摘要】:随着计算机的普及、大容量存储技术的发展以及条形码等数据获取设备的广泛应用,人们在日常事务处理和科学研究中积累了大量的各种类型数据。这些历史数据背后蕴藏了对决策有重要参考价值的信息,因而如何充分、有效利用这些历史数据是目前人们所关注的问题。数据仓库、联机分析处理和数据挖掘技术为解决这一问题提供了有效的途径。 本文以辽阳地区电力调度决策分析系统和青岛交通银行银行卡系统为实际应用背景,围绕着数据挖掘系统应当具备的特点,分别从交互式、多层次挖掘,复杂数据类型—时间序列相似挖掘,集成化挖掘,挖掘平台的构建及行业应用角度,对数据挖掘的相关方法进行研究。在此基础上,设计并实现了一个基于数据仓库的联机分析挖掘平台。主要研究内容包括: 一、研究挖掘空间定位问题。挖掘空间定位就是寻找反映所分析问题(分类/预测)的重要维度的过程,这一过程实质上是知识的约简过程。本文提出了一个解决挖掘空间定位问题的知识约简方法。该方法将粗集理论与并行遗传算法有机结合,具有良好的鲁棒性和全局寻优能力,可以快速、有效地帮助用户定位挖掘空间,提高挖掘效率和准确性。该问题的解决对于数据仓库中立方体的构建也有重要的指导意义。这同时也表明,并行思想的引入对于知识约简在解决大数据量问题时具有较大的实际意义,有广阔的应用前景。 二、研究时间序列数据的相似匹配问题。本文提出了基于小波包变换的时间序列相似匹配新方法,并用于时序相似模式挖掘。该方法在原有小波变换方法的基础上,充分利用小波包可对信号进行更加精细分析的优点,同时考虑尺度信息和细节信息,使得约简后的特征向量包含更多的时间序列有效信息。用多维索引结构尺树存储这些特征向量,使用欧几里德距离作为相似尺度,进行范围查询和k近邻查询。将该方法应用于电力负荷相似模式挖掘,得到了较好的效果,挖掘出的相似负荷模式对于调度计划安排、电力系统经济运行具有重要的实际意义。 三、研究粗集和神经网络的集成化问题。为充分发挥粗集和神经网络的优势,提高挖掘精度,本文通过前面提出的并行遗传约简算法快速选取神经网络的输入空间和训练数据,采用神经网络对精简后的数据进行挖掘。此集成化方法充分发挥了二者的优势,即粗集的约简知识的能力和神经网络精度高的特点,应用于银行卡客户特征分析中,取得了很好的效果。并行约简算法的引入可以进一步提高粗集和神经网络集成化方法的整体挖掘效率。 四、以上述研究内容为基础,论述基于数据仓库的联机分析挖掘平台SEI_OLAM及其在地区电力调度决策分析和银行卡分析领域中的应用。本文首先给出了SEI_OLAM的体系结构和主要功能;接着介绍了其各组成部分—数据仓库、联机分析及数据挖掘的设计与实现方法。根据行业应用特点,平台算法库中除包含常用挖掘算法外,还加入了本文上面提出的方法,在行业应用中取得了良好的效果。最后,给出了该平台在地区电 力调度决策分析、银行卡分析领域的应用实例。作为本文主要研究内容的实际工程背景, 这些项目最终能够开发成功使得本文所提方法和所开发平台的有效性和实用性得到了 很好的验证。 总之,在借鉴国内外最新研究成果的基础上,本文分别从交互式、多层次挖掘,复 杂数据类型一时间序列相似挖掘,集成化挖掘,挖掘平台的构建及行业应用角度,对数 据挖掘中的相关算法进行研究,在此基础上,设计并实现了一个基于数据仓库的联机分 析挖掘平台sEI_OLAM并成功应用于地区电力调度决策分析和银行卡分析领域,为这些 领域的分析人员提供了有力的决策支持手段,得到了用户的好评。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 崔广才;左思源;;遗传算法信息熵结合属性约简算法研究[J];长春理工大学学报(自然科学版);2008年04期
2 方莹;;瓦斯预测中的BP神经网络融合技术[J];煤炭技术;2011年08期
3 王明春,王正欧;基于粗集与遗传算法相结合的文本模糊聚类方法[J];电子与信息学报;2005年04期
4 李秋丹,迟忠先,王大公;基于数据挖掘技术的负荷预测模型[J];大连理工大学学报;2003年06期
5 翟敬梅,蒋梁中,谢存禧,李杞仪;CIMS环境下企业决策支持系统模型的研究[J];机电工程技术;2002年06期
6 糜元根;数据挖掘方法的评述[J];南京化工大学学报(自然科学版);2001年05期
7 郭平;程代杰;;基于粗集分类和遗传算法的知识库集成方法[J];计算机科学;2003年11期
8 何先华,赵卫东,盛昭瀚;粗集在医疗诊断知识支持中的应用[J];计算机工程与应用;2001年20期
9 于勇,姜兴渭,黄文虎;基于粗集理论和遗传算法的知识获取方法研究[J];宇航学报;2001年03期
10 安利平,张建勇,仝凌云;专家系统中基于粗集的知识获取、更新与推理[J];计算机工程与设计;2004年01期
11 祝峰,何华灿;粗集的公理化[J];计算机学报;2000年03期
12 孙兴波;基于粗集方法的图像识别系统[J];四川轻化工学院学报;2001年01期
13 许琦,李永生;粗集理论及基于集合论的学习方法[J];盐城工学院学报(自然科学版);2002年01期
14 李钢,张雪婷;基于相似关系粗糙集的分解[J];计算机工程与应用;2004年02期
15 孙惠琴,熊璋;基于粗集和多Agent技术的分布式数据挖掘[J];微电子学与计算机;2005年01期
16 郝秀兰;基于粗集的属性值约简及应用[J];电脑开发与应用;2005年05期
17 夏克文,宋建平,李昌彪;基于粗集和神经网络的石油测井数据挖掘方法[J];信息与控制;2003年04期
18 王洪凯,管延勇,史开泉;粗集间的相似度量及其应用[J];计算机工程与应用;2004年31期
19 郑丽英,王庆荣,刘丽艳;面向属性的粗集数据挖掘方法研究[J];兰州理工大学学报;2005年02期
20 张东波,王耀南;基于模糊粗神经网络的图像脉冲噪声滤除[J];计算机应用;2005年10期
中国重要会议论文全文数据库 前10条
1 周海清;王恭先;陈正汉;;基于面向对象遗传算法的抗滑桩优化设计程序的研制[A];中国土木工程学会第九届土力学及岩土工程学术会议论文集(下册)[C];2003年
2 吴建生;金龙;;基于实数编码的遗传算法神经网络预报建模研究[A];推进气象科技创新加快气象事业发展——中国气象学会2004年年会论文集(下册)[C];2004年
3 申元霞;张翠芳;;GA-BP算法在系统辨识中的应用[A];中国自动化学会、中国仪器仪表学会2004年西南三省一市自动化与仪器仪表学术年会论文集[C];2004年
4 刘辙;彭亮;崔广才;吴学礼;;混合遗传算法在车间调度中的应用[A];中国自动化学会全国第九届自动化新技术学术交流会论文集[C];2004年
5 曹春红;李文辉;张永坚;;遗传蚂蚁算法在几何约束求解中的应用[A];中国仪器仪表学会第六届青年学术会议论文集[C];2004年
6 姜楠;张春森;;遗传算法在图像模板匹配中的应用[A];高精度几何量光电测量与校准技术研讨会论文集[C];2008年
7 朱秀娥;周宝焜;;振动筛设计的遗传算法[A];福建省科协第三届学术年会装备制造业专题学术年会论文集[C];2003年
8 何奉道;梁向阳;;基于遗传算法的机车周转图优化编制方法[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年
9 刘忠凯;薛正辉;任武;李伟明;高本庆;;用遗传算法优化八木天线[A];2005'全国微波毫米波会议论文集(第二册)[C];2006年
10 汝勇;杨树强;;遗传算法在历史性约束组合优化问题中的应用[A];2010通信理论与技术新发展——第十五届全国青年通信学术会议论文集(上册)[C];2010年
中国博士学位论文全文数据库 前10条
1 张旭;具有拓扑结构布局优化的理论及算法[D];大连理工大学;2004年
2 李秋丹;数据挖掘相关算法的研究与平台实现[D];大连理工大学;2004年
3 廖平;基于遗传算法的形状误差计算研究[D];中南大学;2002年
4 周明;高新技术产业投资环境系统研究[D];西北工业大学;2006年
5 张需溥;小型化微带天线的设计与数值分析[D];上海大学;2004年
6 杨春成;空间数据挖掘中聚类分析算法的研究[D];解放军信息工程大学;2004年
7 方娟;基于移动代理的网格资源监控技术的研究[D];北京工业大学;2005年
8 崔晓芳;箱型结构焊接变形预测、控制及应用[D];大连交通大学;2005年
9 张材;薄带坯铸轧板形智能识别与控制系统研究[D];中南大学;2004年
10 田方;遗传算法的改进研究及其在压缩机性能分析与优化中的应用[D];东北大学;2006年
中国硕士学位论文全文数据库 前10条
1 朱奉梅;遗传算法在高校排课系统中的研究与应用[D];东北大学;2009年
2 孙晓丽;基于遗传算法的既有线平面及纵断面整正优化设计[D];中南大学;2010年
3 冯秋霞;解最小生成树问题的新的遗传算法[D];西安电子科技大学;2010年
4 郭佳;基于遗传算法的认知无线网络资源分配技术研究[D];西安电子科技大学;2010年
5 宋品;基于改进遗传算法的波束形成技术研究及其应用[D];西安电子科技大学;2010年
6 梁云静;基于遗传算法的主题爬虫搜索策略研究[D];湖北工业大学;2010年
7 高建兵;基于遗传算法的模糊推理控制系统的参数优化研究[D];辽宁工程技术大学;2011年
8 李振业;多向变异遗传算法及其优化神经网络的研究[D];华南理工大学;2011年
9 栾丽霞;遗传算法在潍坊商校排课系统的研究与应用[D];电子科技大学;2011年
10 王辉;基于改进遗传算法的物流配送路径优化研究[D];山东科技大学;2010年
中国重要报纸全文数据库 前10条
1 林京;《神经网络和遗传算法在水科学领域的应用》将面市[N];中国水利报;2002年
2 程爱娟;旅行推销员问题(TSP)的人工智能解法及其应用[N];新疆科技报(汉);2001年
3 中国科技大学计算机系 邢方亮;计算智能百花齐放[N];计算机世界;2003年
4 包家庆;IDS五大发展趋势[N];网络世界;2002年
5 郭明波;来自蝙蝠的启发[N];北京科技报;2001年
6 易水;IT新词集锦[N];计算机世界;2003年
7 高澜庆;矿山企盼智能化[N];中国矿业报;2000年
8 顾正华 唐洪武 肖洋 河海大学水利水电工程学院 李云 南京水利科学研究院水工研究所;水流智能模拟大步走来[N];中国水利报;2005年
9 李磊;让电子政务更聪明[N];计算机世界;2001年
10 记者 吴苡婷;用技术挖出网络信息中“金子”[N];上海科技报;2009年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978