收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

Pi-Sigma神经网络的几种梯度学习算法

熊焱  
【摘要】: 到目前为止,人们提出了许多神经网络模型,其中应用最广泛的是前馈神经网络.早期前馈神经网络中只含有求和神经元,在处理复杂非线性问题时效率很低.后来,人们将求积神经元引入到前馈神经网络中,用以增加网络的非线性映射能力,提高网络的学习效率.这样的网络可以统称为高阶前馈神经网络.但是,如果只通过输入节点值的简单乘积构造求积神经元以增加网络的非线性映射能力,随着输入样本维数的增加,所需权值的数量呈指数阶增加,即出现“维数灾难”.Pi-Sigma神经网络是1991年Y.Shin提出的一种具有多项式乘积构造的求积神经元的高阶前馈神经网络.该网络既提高网络的非线性映射能力,又避免了“维数灾难”的出现.此后,为了提高该网络的应用能力,Y.Shin、A.J.Hussaina、C.K.Li等又以Pi-Sigma神经网络为模块构造了更复杂的网络结构,并在模式分类和函数逼近等问题中取得成功应用. 学者们对只含有求和神经元的前馈神经网络的收敛性、泛化能力等理论问题已有深入研究,而对含有求积神经元的高阶前馈神经网络的研究主要集中在实际应用上,相关理论方面的研究还很薄弱,仍存在许多有待解决的基本理论问题.因此,从理论上分析Pi-Sigma神经网络学习算法的学习能力和收敛性具有很重要的实际意义,这些问题的研究和解决将对Pi-Sigma神经网络的应用起到重要的促进作用. 梯度算法是一种简单又常用的神经网络训练算法,从样本的输入方式看,包括批处理和在线两种运行方式;从权值向量的更新方式来看,包括同步和异步两种更新方式.本论文主要研究用于训练Pi-Sigma神经网络的几种梯度学习算法的相关理论问题,包括学习效率、收敛性等.另外,在网络结构优化方面做了一些尝试. 本论文的结构及内容如下: 第一章回顾有关神经网络的一些背景知识. 第二章指出随机单点在线梯度算法训练Pi-Sigma神经网络过程中因权值较小会降低网络收敛速度的问题,并从理论上分析了这种现象产生的原因及权值更新受影响的程度.同时,为解决该问题,给出了一种带惩罚项的随机单点在线梯度算法. 第三章讨论Pi-Sigma神经网络异步批处理梯度算法和带动量项的异步批处理梯度算法的收敛性问题.将动量项引入到训练Pi-Sigma神经网络的异步批处理梯度算法中,有效地改善了算法的学习效率,给出误差函数的单调性定理及该算法的弱收敛和强收敛性定理及证明,并通过计算机仿真实验验证理论分析的正确性. 第四章分析Pi-Sigma神经网络在线梯度算法的收敛性问题并给出收敛性结论. 第五章提出基于灰色关联分析的一种新的剪枝算法,并将其用于训练前馈神经网络(包括多层前馈神经网络和High-Ordet,神经网络).该算法运用灰色关联分析对比网络各节点输出值序列之间联系的紧密程度,实现网络结构的动态修剪.训练后的神经网络具有较合理的网络拓扑结构和较好的泛化能力.实例验证该算法的合理性、有效性.


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 王伟娜;杨慧中;;基于权值拟熵的神经网络剪枝算法研究[J];计算机仿真;2006年03期
2 李道国,苗夺谦,俞冰;决策树剪枝算法的研究与改进[J];计算机工程;2005年08期
3 杨慧中;王伟娜;丁锋;;神经网络的两种结构优化算法研究[J];信息与控制;2006年06期
4 聂永;邓伟;;一种基于Pi-sigma神经网络图像压缩的方法[J];苏州大学学报(工科版);2007年04期
5 周博韬;李安贵;;最小二乘支持向量机的一种改进算法[J];南昌大学学报(理科版);2006年06期
6 朱逸芬,陈福安,林延晖;α-β剪枝算法在优化模糊PROLOG推理过程中的应用[J];计算机研究与发展;1994年07期
7 吴建昱,何小荣;用于ANN训练的OBD剪枝算法的改进[J];化工学报;2002年11期
8 王长清;祝西里;;时域有限差分法的收敛性[J];微波学报;1992年03期
9 开依沙尔·热合曼;吉米拉木·艾孜孜;;两种修正的Gauss级数序列及其它的收敛性[J];新疆师范大学学报(自然科学版);2006年03期
10 张昭昭;沈学利;乔俊飞;;基于权值e指数信息熵的前馈网络修剪算法[J];辽宁工程技术大学学报(自然科学版);2009年03期
11 王海峰,胡德金;最小二乘支持向量机的一种稀疏化算法[J];计算机工程与应用;2005年33期
12 聂永;邓伟;;Pi-sigma神经网络混合学习算法及收敛性分析[J];计算机工程与应用;2008年35期
13 赵永平;孙健国;;关于稀疏最小二乘支持向量回归机的改进剪枝算法[J];系统工程理论与实践;2009年06期
14 黄福员;;一种改进的动量粒子群算法及实验分析[J];计算机应用与软件;2009年10期
15 程兆林,赵克友,郭雷;线性系统初值最小二乘估计的收敛性问题[J];控制理论与应用;1989年02期
16 于春田,谷斌,邵冬;应用在系统辨识中的一种改进的遗传神经网络模型[J];河北科技大学学报;2003年04期
17 朱嘉钢;王士同;;解析中心机ACM收敛性的研究[J];计算机科学;2006年05期
18 赵菊敏;程海青;张立毅;;基于动量项前馈神经网络盲均衡算法[J];太原理工大学学报;2007年03期
19 尹婷婷;张世华;雎刚;;基于神经网络剪枝算法的热工过程模型辨识研究[J];江苏电机工程;2008年04期
20 郭福顺,宋震,孟遥,廖明宏;关于产生式系统并行执行与收敛性问题的探讨[J];小型微型计算机系统;1998年01期
中国重要会议论文全文数据库 前10条
1 童玮;魏海坤;;神经网络剪枝算法在上市公司ST预测中的应用[A];2005全国自动化新技术学术交流会论文集(三)[C];2005年
2 吴志刚;刘正山;;动力模型降阶中变换矩阵迭代计算的收敛性问题[A];第三届全国动力学与控制青年学者研讨会论文摘要集[C];2009年
3 邵爱梅;邱崇践;;4DVAR中插值计算引发的不稳定性研究[A];中国气象学会2005年年会论文集[C];2005年
4 申文斌;王正涛;钟秋菊;李建成;晁定波;;利用卫星观测能量法确定重力场的研究[A];中国地球物理第二十一届年会论文集[C];2005年
5 常进荣;;关于强伪压缩映射不动点的收敛问题[A];2006“数学技术应用科学”[C];2006年
6 解三名;吴叶军;吴沧浦;;稳态大规模系统的一种新的两层递阶最优控制[A];1995年中国智能自动化学术会议暨智能自动化专业委员会成立大会论文集(上册)[C];1995年
7 陈京;袁保宗;文富荣;;一种基于曲率约束的不完整超二次曲线拟合[A];第十二届全国信号处理学术年会(CCSP-2005)论文集[C];2005年
8 刘娟;马云锋;吕春;赵会群;;基于AOV拓扑排序的路由策略冲突检测[A];第三届中国测试学术会议论文集[C];2004年
9 曾锋;高东杰;;离散分段线性系统性能分析和预测控制[A];第二十四届中国控制会议论文集(上册)[C];2005年
10 李政;;一类二阶D型迭代学习控制算法的收敛性[A];第二十四届中国控制会议论文集(上册)[C];2005年
中国博士学位论文全文数据库 前10条
1 熊焱;Pi-Sigma神经网络的几种梯度学习算法[D];大连理工大学;2007年
2 张会生;前馈神经网络梯度训练算法的几个收敛性结果[D];大连理工大学;2009年
3 KHAN HINA;同伦分析方法在非线性力学和数学生物学中的应用[D];上海交通大学;2008年
4 王红玲;基于特征向量的中英文语义角色标注研究[D];苏州大学;2009年
5 洪汉玉;成像探测系统图像复原算法研究[D];华中科技大学;2004年
6 庄春刚;基于水平集的多材料结构拓扑优化设计方法与应用[D];上海交通大学;2007年
7 陈雪娟;曲线、曲面造型中关于逼近和收敛性问题的研究[D];厦门大学;2007年
8 刘刚;面向领域的软件需求一致性验证方法研究[D];哈尔滨工程大学;2008年
9 白翔;基于骨架的形状匹配中若干问题的研究[D];华中科技大学;2009年
10 邵红梅;带惩罚项的BP神经网络训练算法的收敛性[D];大连理工大学;2006年
中国硕士学位论文全文数据库 前10条
1 聂永;Pi-Sigma神经网络的学习算法研究[D];苏州大学;2008年
2 鲁慧芳;两种前馈型神经网络中梯度学习算法的收敛性[D];大连理工大学;2006年
3 郑高峰;带动量项的BP神经网络收敛性分析[D];大连理工大学;2005年
4 孙要伟;灰色神经网络GNNM(1,1)批处理算法的收敛性[D];大连理工大学;2009年
5 张立庆;带惩罚项的BP神经网络在线梯度法[D];大连理工大学;2004年
6 亢喜岱;Pi-Sigma神经网络随机输入在线梯度法的收敛性[D];大连理工大学;2007年
7 何珊珊;美式期权定价中惩罚方法的收敛性[D];吉林大学;2009年
8 靳松;参数自调节的BP—神经网络研究[D];河北农业大学;2003年
9 刘盈;大词表连续语音识别系统的研究与实现[D];清华大学;2005年
10 宋蕾;基于神经网络盲源分离算法的研究[D];太原理工大学;2007年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978