收藏本站
《重庆大学》 2006年
收藏 | 手机打开
二维码
手机客户端打开本文

并行数据挖掘理论研究与应用

王华秋  
【摘要】: 通过数据挖掘进行知识发现是对大型数据库或数据仓库的一种分析,用于发现隐藏在数据仓库中的关系和知识,这些知识会影响管理者的决策和实施。数据仓库上的数据挖掘能够从利用机群并行计算中获利,从而提高其性能和数据分析质量。实际上,挖掘大量数据集会消耗巨大的计算资源,因为在传统的计算机上,对海量数据集进行数据挖掘得到结果是要花费非常多的时间的。一种减少响应时间的方法就是采样,但是在一些情况下,减少训练数据会导致计算模型不准确,甚至不可用。另外一种方法就是并行计算了。 高性能计算机和并行数据挖掘结合在一起,就能为挖掘巨型数据集提供一个最佳方案,更快的处理速度意味着用户能够试验更多的模型以更好地理解复杂数据。高性能计算让用户能够分析更多的数据变成现实。这样并行数据挖掘为数据分析和知识提取发挥了越来越重要的作用,在诸如商业和工业领域的数据提取和决策支持中得到应用。 虽然目前已提出过一些并行数据挖掘算法,但是存在着通信量过大、可扩展性差、数据分布不合理等问题,出现算法性能随数据量递增效率下降的情况,具有理论或应用局限性。因此本文研究和提出具有新颖的适应性强的高效并行挖掘算法并将其用于商业和工业领域,具有其创新性和必要性。 本文在研究并行数据挖掘算法前,搭建了并行计算环境、设计了大型商业数据仓库和使用了工业生产数据库作为研究和应用平台,在构建的数据仓库上利用PC机群进行并行数据挖掘。 本文分析了能用于数据挖掘技术的几种不同并行形式,阐述了如何用机群执行并行数据挖掘,提出了几种可用于数据挖掘算法的并行化方法,这些算法有: (1)并行关联规则。本文在比较了当前几种并行关联规则挖掘算法的基础上,为了解决这些算法在候选集和执行时间方面存在的问题,结合关联规则的性质定理,提出了一种快速并行关联规则算法FPARM,改进了全局和局部剪枝策略以及候选集的约简方法。在无共享的工作站机群上进行性能测试,采用改进并行算法的执行效率提高了,达到了算法优化的目的,并将该算法用于商品之间的购物序列模式分析。在实际的关联规则挖掘应用中,多层概念关联规则是用户经常考虑的问题,本文在分析了单数据库多层关联规则算法SMAM算法的基础上,为了提高算法的效率,提出了两种并行多层关联规则算法PMAM-L和PMAM-LG。试验证明PMAM算法是有效的。 (2)并行聚类。本文提出了基于并行退火粒子群优化的并行聚类算法,采用了
【学位授予单位】:重庆大学
【学位级别】:博士
【学位授予年份】:2006
【分类号】:TP311.13

手机知网App
【相似文献】
中国期刊全文数据库 前10条
1 杜静;敖富江;王华兵;汪连栋;;高性能SAR成像程序的并行粒度选择技术[J];计算机应用;2011年08期
2 薛峰;;基于并行计算环境的集群仿真系统设计与实现[J];计算机与数字工程;2011年08期
3 ;[J];;年期
4 ;[J];;年期
5 ;[J];;年期
6 ;[J];;年期
7 ;[J];;年期
8 ;[J];;年期
9 ;[J];;年期
10 ;[J];;年期
中国重要会议论文全文数据库 前9条
1 苏虎;周美玉;;分布式列车仿真系统的视景生成[A];加入WTO和中国科技与可持续发展——挑战与机遇、责任和对策(下册)[C];2002年
2 王春海;肖斌;;ICT图像重建并行处理技术[A];先进制造技术论坛暨第三届制造业自动化与信息化技术交流会论文集[C];2004年
3 王春海;肖斌;;ICT图像重建并行处理技术[A];《制造业自动化与网络化制造》学术交流会论文集[C];2004年
4 吴明一;王红星;秦玉波;李鑫钢;徐世民;;CFD并行计算技术的研究进展[A];第二届全国塔器及塔内件技术研讨会会议论文集[C];2007年
5 徐庆新;王光学;张玉伦;王运涛;;TRIP并行软件的开发与应用[A];中国力学学会学术大会'2009论文摘要集[C];2009年
6 韩国兴;;一种实用嵌套并行程序设计算法[A];第九届全国微分方程数值方法暨第六届全国仿真算法学术会议论文集[C];2004年
7 肖文名;陈晓宇;石小英;宋远清;何婉文;吴俏梅;;并行计算机系统建设探讨[A];信息技术在气象领域的开发应用论文集(二)[C];2006年
8 温冬婵;陆嘉;王鼎兴;;工作站机群共享对象系统上面向对象数据库多粒度加锁的实现[A];数据库研究进展97——第十四届全国数据库学术会议论文集(上)[C];1997年
9 崔欣辰;邓建球;张正霞;;多代理分布式数据挖掘系统设计与实现[A];全国第三届信号和智能信息处理与应用学术交流会专刊[C];2009年
中国重要报纸全文数据库 前3条
1 本报记者 李昕;“大云”显形 业务云呼之欲出[N];通信产业报;2010年
2 本报记者 马文方;微软HPC:带动Windows转向并行计算[N];中国计算机报;2010年
3 通文;中移动“大云”进入试运营[N];通信产业报;2010年
中国博士学位论文全文数据库 前4条
1 王华秋;并行数据挖掘理论研究与应用[D];重庆大学;2006年
2 王永恒;海量短语信息挖掘技术的研究与实现[D];国防科学技术大学;2006年
3 付朝江;集群MPI环境下有限元结构分析并行计算研究[D];上海大学;2006年
4 谢江;蛋白质相互作用网络的数值研究[D];上海大学;2008年
中国硕士学位论文全文数据库 前10条
1 张敏;云计算环境下的并行数据挖掘策略研究[D];南京邮电大学;2011年
2 闫浩;MPICH在工作站机群环境下通信机制的分析与优化[D];解放军信息工程大学;2010年
3 张晓波;并行遗传算法求解应急系统最短路径的研究[D];太原理工大学;2005年
4 孙涛;多策略数据挖掘系统DBIN Miner的设计与并行数据挖掘技术的研究[D];吉林大学;2006年
5 莫仕林;网络并行计算在工业CT图像重建中的设计与研究[D];重庆大学;2005年
6 王荧;并行关联规则算法优化的研究[D];山东科技大学;2007年
7 孟鑫;基于COW的体绘制关键技术研究[D];天津理工大学;2006年
8 叶海霞;工业CT窄角扇束卷积反投影并行图像重建研究[D];重庆大学;2003年
9 管仁初;基于并行计算的线性空间算法在双序列比对中的应用[D];东北师范大学;2007年
10 郭静;基于消息传递的Beowulf集群系统的研究与实现[D];曲阜师范大学;2009年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026