Pi-Sigma神经网络的几种梯度学习算法

【摘要】： 到目前为止，人们提出了许多神经网络模型，其中应用最广泛的是前馈神经网络．早期前馈神经网络中只含有求和神经元，在处理复杂非线性问题时效率很低．后来，人们将求积神经元引入到前馈神经网络中，用以增加网络的非线性映射能力，提高网络的学习效率．这样的网络可以统称为高阶前馈神经网络．但是，如果只通过输入节点值的简单乘积构造求积神经元以增加网络的非线性映射能力，随着输入样本维数的增加，所需权值的数量呈指数阶增加，即出现“维数灾难”．Pi-Sigma神经网络是1991年Y．Shin提出的一种具有多项式乘积构造的求积神经元的高阶前馈神经网络．该网络既提高网络的非线性映射能力，又避免了“维数灾难”的出现．此后，为了提高该网络的应用能力，Y．Shin、A．J．Hussaina、C．K．Li等又以Pi-Sigma神经网络为模块构造了更复杂的网络结构，并在模式分类和函数逼近等问题中取得成功应用． 学者们对只含有求和神经元的前馈神经网络的收敛性、泛化能力等理论问题已有深入研究，而对含有求积神经元的高阶前馈神经网络的研究主要集中在实际应用上，相关理论方面的研究还很薄弱，仍存在许多有待解决的基本理论问题．因此，从理论上分析Pi-Sigma神经网络学习算法的学习能力和收敛性具有很重要的实际意义，这些问题的研究和解决将对Pi-Sigma神经网络的应用起到重要的促进作用． 梯度算法是一种简单又常用的神经网络训练算法，从样本的输入方式看，包括批处理和在线两种运行方式；从权值向量的更新方式来看，包括同步和异步两种更新方式．本论文主要研究用于训练Pi-Sigma神经网络的几种梯度学习算法的相关理论问题，包括学习效率、收敛性等．另外，在网络结构优化方面做了一些尝试． 本论文的结构及内容如下： 第一章回顾有关神经网络的一些背景知识． 第二章指出随机单点在线梯度算法训练Pi-Sigma神经网络过程中因权值较小会降低网络收敛速度的问题，并从理论上分析了这种现象产生的原因及权值更新受影响的程度．同时，为解决该问题，给出了一种带惩罚项的随机单点在线梯度算法． 第三章讨论Pi-Sigma神经网络异步批处理梯度算法和带动量项的异步批处理梯度算法的收敛性问题．将动量项引入到训练Pi-Sigma神经网络的异步批处理梯度算法中，有效地改善了算法的学习效率，给出误差函数的单调性定理及该算法的弱收敛和强收敛性定理及证明，并通过计算机仿真实验验证理论分析的正确性． 第四章分析Pi-Sigma神经网络在线梯度算法的收敛性问题并给出收敛性结论． 第五章提出基于灰色关联分析的一种新的剪枝算法，并将其用于训练前馈神经网络(包括多层前馈神经网络和High-Ordet，神经网络)．该算法运用灰色关联分析对比网络各节点输出值序列之间联系的紧密程度，实现网络结构的动态修剪．训练后的神经网络具有较合理的网络拓扑结构和较好的泛化能力．实例验证该算法的合理性、有效性．