面向商业智能的并行数据挖掘技术及应用研究

【摘要】：随着企业信息化进程的不断推进, 很多企业已经积累了大量的业务数据,但这些业务数据的商业价值并没有得到充分的挖掘和利用。随着市场竞争的不断加剧, 企业需要商业智能指导业务行为并进行辅助决策, 以便在激烈的市场竞争中赢得主动和更多的商机。作为企业实现商业智能核心技术的数据挖掘技术虽然为企业实现商业智能提供了可能和技术保证,但是面对企业复杂的数据分析问题,现有数据挖掘技术显然不能很好适应并较好地解决所有这些问题。除了需要研究更好的数据挖掘技术和理论以外,如何提高数据挖掘的效率已经成为学术界研究的焦点。 本论文以商业智能应用为背景,以提高数据挖掘的效率作为研究目标,将并行处理技术与数据挖掘技术紧密结合在一起,从并行数据挖掘体系结构、数据挖掘结果模式的表达和存储、并行神经网络?BP算法以及其商业应用等四个方面,为实现商业企业的商业智能提供了一整套解决方案。因此本论文的研究工作具有较高的学术意义和实用价值。 论文的主要创新性工作可以归纳为以下几点: 在深入分析、归纳PRAM、BSP和阶段模型特点的基础上给出了三种并行计算模型计算时间耗费的一般性公式,从而为并行体系结构或者并行算法的性能评价提供了有价值的参考公式。 提出了一个面向商业智能的、具有较高数据挖掘效率的并行数据挖掘体系结构。论文选择具有较高性价比的COW和PVM作为并行计算平台;通过在并行数据挖掘体系结构中增加模式库管理系统,对数据挖掘的结果模式进行存储和管理,从而有效利用了历史模式,提高了整个数据挖掘系统的效率。 提出了一种将关联、分类和时序三种数据挖掘结果模式进行统一存储及统一操作的方法。论文利用关系数据库来存储关联、分类和时序三种数据挖掘结果模式,并给出了存储方法的关系代数描述;为了方便对结果模式的操作,又定义了结构化查询语言SPQL(Structured Pattern Query Language),给出了SPQL语句的具体实现方法。所提出的三种数据挖掘结果模式存储方法是对多种结果模式存储方法进行的一次有益的、创新性的探索。 设计出了一个可以较好解决局部极值、具有较快收敛速度的二次并行神经网络TP-BP算法。并行TP-BP算法以具有较优性能的RPROP算法为 WP=6 基础,通过不等量划分权值搜索空间的方法,在正式训练之前先并行地寻找最小极值区域,然后再用第二次并行操作对BP网络进行训练,从而很大程度上避免了局部极小、加快了收敛进程、降低了epoch数。实验结果表明二次并行TP-BP算法具有较好的加速比性能和适用性。 结合重庆市应用基础项目的研究,建立并初步实现了一个医药销售趋势预测模型。该医药销售预测模型采用了并行TP-BP算法,并在基于COW的并行计算环境下实现。实际应用效果表明,药品销售趋势预测模型所给出的销售趋势预测值与实际销售情况基本吻合,对于企业的经营决策具有较高的参考价值,同时也进一步验证了论文所提出的并行数据挖掘体系结构和并行TP-BP算法的可行性和实用价值。