收藏本站
《大连理工大学》 2008年
收藏 | 手机打开
二维码
手机客户端打开本文

Sum-of-Product神经网络和径向基函数神经网络的逼近能力研究

隆金玲  
【摘要】: 神经网络理论在近年来得到了迅速发展.神经网络的逼近能力是考察神经网络性能的重要一环.实际应用问题中要逼近的映射通常非常复杂,我们不能期待完全精确计算这些未知的映射.现在比较流行的趋势是用神经网络计算一元函数或其它简单函数的复合和线性组合逼近静态映射.这与如下的问题相关:是否,或在什么条件下,一族神经网络输出函数在某个多元函数空间中稠密?即神经网络的逼近能力的研究.神经网络的逼近能力问题作为神经网络的一个基本问题,随着神经网络的发展,引起了工程界和数学家们的广泛关注.稠密性是理论上能够逼近函数的能力,满足稠密性并不意味着这种形式是一种有效的逼近格式.然而,缺少稠密性的保证就意味着一些网络是不可能作逼近应用的.对于神经网络的逼近问题,在数学上讲可以分为四个方面:函数逼近,函数族逼近(强逼近),连续泛函逼近以及连续算子逼近.迄今,人们提出了很多神经网络模型,应用最广泛的是前馈神经网络,所以各种前馈网络的逼近能力的研究任务更加急迫. 学者们对径向基函数(RBF)神经网络的逼近能力已有了深入的研究,然而已有研究结果仍需要发展和完善.同时,学者们在研究神经网络对函数族的逼近能力时,都是利用了已有的多层感知器(MLP)和RBF神经网络的函数逼近能力定理,得到了这两种不同网络的强逼近结果,那么对一般的前馈网络的函数逼近性和强逼近性之间是不是也存在着这种联系呢?这一问题对提出统一的逼近理论框架具有重要的实际意义. Sum-of-Product神经网络和Sigma-Pi-Sigma神经网络是分别于2000年和2003年提出的,它们都是由求积神经元和求和神经元构成的多层神经网络,试图解决经典RBF网络和MLP网络遇到的存储记忆量大和学习困难的问题.这两种网络在函数逼近、预测、分类和学习控制任务中都有很好的表现.本论文分别讨论了这两种神经网络的一致逼近能力和L~p逼近能力. 已有的神经网络逼近理论主要是存在性地证明了神经网络的逼近能力,我们应用一种构造型方法证明了具有RBF型和平移伸缩不变(TDI)型隐单元的三层前馈神经网络只需随机选择隐单元的权值参数,然后适当调整新增的隐单元和输出单元之间的权值,网络输出函数就能够以任意精度逼近L~2(R~d)中任意函数.同时,我们的结果给出了一种自然地建立渐增网络逼近L~2(R~d)中函数的方法. 形如g(a·x)的岭函数及其线性组合,在拓扑学、神经网络、统计学、调和分析和逼近理论中都有广泛应用.这里g是一元函数,a·x表示欧氏空间R~n中内积.确定在什么程度上函数表示成岭函数的和的表达方式是唯一的,是非常重要的课题.已有的这方面的研究结果考虑的是g∈C(R)和g∈L_(loc)~1(R)的情况,我们将相应的结论推广到g∈L_(loc)~p(R)(1≤p∞)和g∈D'(R)的情况.另外,如果一个函数能够表示成岭函数的和,函数本身和每个和分量的光滑性之间的关系也是本论文关心的问题. 本论文的结构和内容如下: 第一章回顾了神经网络的相关基础知识,介绍了神经网络的逼近能力理论研究意义、方法和研究现状. 第二章主要研究了一个函数如果能够表示成岭函数的和,其表达式的唯一性问题.我们证明了如果f(x)=∑_(i=1)~m gi(a~i·x)=0,a~i=(a_1~i,…,a_n~i)∈R~n\{0}两两线性无关,并且gi∈L_(loc)~p(R)(或gi∈D'(R),gi(a~i·x)∈D'(R~n)),那么每个gi是一个次数不超过m-2次的多项式.此外,我们还给出了岭函数线性组合的一个光滑性定理. 第三章给出了RBF神经网络在L~p空间中的函数逼近能力以及强逼近和算子逼近能力的结果.这些结果改进了陈天平和蒋传海等人最近在RBF神经网络逼近方面的结果,为RBF神经网络的应用提供了理论基础.另外,我们还得到了前馈神经一般形式的强逼近定理,现有的很多结果都是它的特例. 第四章指出了R上的连续函数作为Sum-of-Product神经网络的激活函数时,网络所生成函数集合在C(K)中稠密的充分必要条件是它不是多项式.进一步地,我们还给出了Sigma-Pi-Sigma神经网络所生成的函数集合在C(K)中稠密的充分必要条件. 第五章揭示了Sum-of-Product神经网络所生成的函数集合在L~p(K)中稠密的充要条件.另外,我们根据Sum-of-Product神经网络的逼近结果,讨论了Sigma-Pi-Sigma神经网络的L~p逼近能力. 第六章研究了具有随机隐单元的三层渐增前馈神经网络对L~2(R~d)中函数的逼近能力.主要讨论了具有RBF型和平移伸缩不变(TDI)型隐单元的前馈神经网络.我们指出了对于具有RBF型隐单元的网络,给定非零激活函数g:R→R且g(‖x‖_(R~d))∈L~2(R~d),或者对于具有TDI型隐单元的网络,给定非零激活函数g(x)∈L~2(R~d),如果适当选择隐层单元和输出单元之间权值,则具有n个随机隐单元的三层渐增网络的网络输出函数当n→∞时以概率1收敛于L~2(R~d)中任意目标函数.
【学位授予单位】:大连理工大学
【学位级别】:博士
【学位授予年份】:2008
【分类号】:TP183

【相似文献】
中国期刊全文数据库 前10条
1 陈雄志;蔡长林;;用于函数逼近的多层感知器的一种新构架(英文)[J];四川大学学报(自然科学版);2006年02期
2 杨国为;王守觉;闫庆旭;;分式线性神经网络及其非线性逼近能力研究[J];计算机学报;2007年02期
3 张昌义;戴文战;;基于二次指数平滑的BP神经网络模型研究及应用[J];浙江理工大学学报;2008年04期
4 吴春梅;罗芳琼;;投影寻踪技术的理论及应用研究进展[J];柳州师专学报;2009年01期
5 肖小石;毛志忠;袁平;;T-S模糊系统的构造及其逼近能力的充分条件[J];控制理论与应用;2009年08期
6 谢维信,钱沄涛;模糊神经网络研究[J];深圳大学学报(理工版);1999年Z1期
7 李玉鉴,王守觉;方向基函数神经网络及其逼近能力[J];北京工业大学学报;2003年03期
8 兰倩,李骏;神经网络的函数逼近性分析[J];甘肃科学学报;2005年01期
9 吴小俊,王士同,杨静宇,曹奇英;基于正交多项式函数的神经网络及其性质研究[J];计算机工程与应用;2002年09期
10 方斌,李晴燕;PID增益基于神经模糊网络的预测控制[J];微机发展;2002年03期
中国重要会议论文全文数据库 前10条
1 谢维信;钱涛;;模糊神经网络研究述评[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年
2 刘慧林;冯汝鹏;胡瑞栋;;基于Mamdani型的轴对称模糊系统[A];第二十三届中国控制会议论文集(下册)[C];2004年
3 张友民;朱志伟;;一种考虑输出的RBF网络聚类新算法[A];1995年中国智能自动化学术会议暨智能自动化专业委员会成立大会论文集(上册)[C];1995年
4 贺乃宝;高倩;刘永强;龚成龙;姜长生;;指数型FTSM控制[A];Proceedings of 2010 Chinese Control and Decision Conference[C];2010年
5 孙燕楠;韩敏;;利用神经网络实现模糊if-then规则集[A];第二十四届中国控制会议论文集(下册)[C];2005年
6 杨国为;王守觉;;分式线性神经网络及其非线性逼近能力[A];2005年中国智能自动化会议论文集[C];2005年
7 王飞;张天平;施枭铖;;随机严格反馈非线性系统的自适应神经网络控制[A];中国自动化学会控制理论专业委员会C卷[C];2011年
8 冯英浚;翟军;李思彪;;基于CUSI神经元模型的函数逼近方法[A];1996中国控制与决策学术年会论文集[C];1996年
9 张天平;严彩梅;朱范德;;一种改进的稳定自适应模糊控制[A];第十九届中国控制会议论文集(二)[C];2000年
10 朱清;张天平;杨月全;;一类多输入多输出系统的自适应模糊变结构控制[A];2002中国控制与决策学术年会论文集[C];2002年
中国博士学位论文全文数据库 前10条
1 隆金玲;Sum-of-Product神经网络和径向基函数神经网络的逼近能力研究[D];大连理工大学;2008年
2 南东;RBF和MLP神经网络逼近能力的几个结果[D];大连理工大学;2007年
3 叶桂波;黎曼流形上的学习理论—在线分类和多核算法[D];复旦大学;2007年
4 高美娟;用于储层参数预测的神经网络模式识别方法研究[D];大庆石油学院;2005年
5 伭炜;基于人工神经网络的混合智能系统研究及应用[D];哈尔滨工程大学;2009年
6 袁德宝;GPS变形监测数据的小波分析与应用研究[D];中国矿业大学(北京);2009年
7 王琦;MDO优化算法研究[D];南京航空航天大学;2008年
8 薛雅丽;基于轨迹线性化方法的近空间飞行器鲁棒自适应控制研究[D];南京航空航天大学;2010年
9 周黎辉;神经网络在过程辨识与控制中的应用研究[D];华北电力大学(河北);2004年
10 张建华;基于细胞神经网络的非线性时滞系统自适应控制[D];燕山大学;2011年
中国硕士学位论文全文数据库 前10条
1 王俊芳;带随机隐单元的RBF网络L~2逼近能力[D];大连理工大学;2008年
2 张兴兰;RBF神经网络理论及其在脱硫智能控制系统中的应用[D];重庆大学;2002年
3 王华秋;一种改进型径向基神经网络的研究及应用[D];重庆大学;2003年
4 员世芬;小波神经网络理论的研究及其在加热炉钢坯温度预报中的应用[D];太原理工大学;2005年
5 康军;基于径向基函数神经网络的应用研究[D];湖南师范大学;2009年
6 唐墨;模糊混沌神经网络的研究[D];哈尔滨工程大学;2006年
7 刘春燕;智能方法在桩基工程中的应用[D];武汉理工大学;2008年
8 徐志伟;高精度拟插值算子构造技术及其应用[D];复旦大学;2009年
9 郑波;配棉工艺系统与纺纱质量预测的分析与设计[D];东南大学;2006年
10 王凯;复杂型面数控加工的神经网络控制[D];兰州理工大学;2007年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026