收藏本站
《北京工业大学》 2018年
收藏 | 手机打开
二维码
手机客户端打开本文

模块化神经网络优化设计及应用研究

蒙西  
【摘要】:人工神经网络是由大量神经元相互连接,通过模拟大脑神经系统处理信息的方式,进行信息并行处理的复杂非线性系统。人脑在信息处理方面有着突出的优点,其学习、感知以及在复杂环境中做出决策的能力都是现有神经网络模型一直试图实现的。大脑的结构连接是其功能连接的基础,对脑网络结构特征的探索和模拟是实现类人信息智能处理模式的前提。模块化是大脑皮层最主要的特征之一,模块化分区的结构特征形成了大脑最基本也是最重要的组织原则——“功能分离”。大脑在处理信息时,不同的区域处理不同的信息,具有“分而治之”的特性,这种局部特性是人脑处理复杂任务和应对突变环境的核心基础。因此,模块化神经网络旨在模拟大脑皮层模块化结构特征,通过实现脑网络“分而治之”的功能特性来提高人工神经网络处理复杂信息的能力。如何构建模块化分区结构,如何设计结构精简、性能稳定以及泛化性能良好的子网络都是模块化神经网络研究领域尚待解决的关键问题和难点问题。研究模块化神经网络优化设计方法,是为了获得有效的模块化分区方法和子网络自组织设计算法。文中基于神经生理学和神经心理学研究成果,归纳、概括了人脑结构连接方式与脑式信息处理机理间的关系,将脑网络的空间模态蕴含于模块化神经网络分区结构设计中;深入分析、研究了影响子网络学习能力和泛化能力的主要因素,获得了子网络自组织动态设计方法;在分区方法和子网络设计研究基础上,获得了完备的模块化神经网络优化设计算法,所设计的模块化神经网络具有典型的类脑结构特征和类脑信息处理方式。论文的主要研究工作和创新点如下:1.模块化神经网络分区方法构建分区结构是实现“分而治之”的前提。借鉴自适应共振理论(Adaptive resonance theory,ART)良好的聚类特性,文中利用任务样本集间的相似性对输入空间进行自适应划分,进而构建模块化分区结构。此外,受启发于脑网络的结构特征,又提出一种基于密度聚类的分区方法,通过寻找每个模块的核心节点来构建分区结构。由于径向基函数(Radial basis function,RBF)神经网络与模块化神经网络在结构和功能上具有一定的相似性,因此将分区问题转换为RBF神经网络的隐含层结构设计问题,进而通过RBF神经网络的性能来验证分区方法的可行性。对非线性函数逼近和非线性动态系统辨识的仿真结果显示:两种分区方法都能根据待解决任务样本集特征自适应确定子模块规模,实现任务自动分解;其中基于密度聚类的方法能通过对脑网络结构特征的模拟有效提高分区效果。2.子网络改进型二阶学习算法子网络的学习能力是模块化神经网络学习能力的保证。文中采用由二阶梯度类算法训练的RBF神经网络作为模块化神经网络的子网络,分析了影响二阶梯度类算法收敛性能的主要因素,提出了一种RBF神经网络改进型二阶学习算法。该算法通过转化海森矩阵的计算方式和寻求合适的初始参数来提高算法的收敛性能。实验结果表明所提出的改进型二阶学习算法能够在保证学习过程收敛的同时有效提高子网络的收敛速度和学习精度。3.基于任务驱动的子网络自组织设计人工神经网络的设计目标应是以最精简的结构获取最优的学习能力和泛化性能。文中提出了一种基于任务驱动的RBF神经网络自组织设计算法,针对待处理任务,该算法能基于瞬时残差和神经元显著性自适应构建网络结构;同时,结构构建过程中确定的初始参数又能有效提高网络的收敛速度和学习精度。实验结果表明所设计的RBF神经网络具有精简的结构、较快的收敛速度以及良好的泛化性能。因此,当选用该神经网络作为子网络时,所构建模块化神经网络的结构精简性和泛化能力都能得以保证。4.类脑模块化神经网络设计模块化神经网络旨在通过模拟脑网络“模块化”结构特征和“功能分离”特性来提高神经网络处理复杂问题的能力。基于人脑结构特征和认知方式,文中提出了一种类脑模块化神经网络。首先,利用类脑模块化分区方法实现子模块规模的自适应确定以及任务的自动分解;其次,结构精简和泛化性能良好的子网络保证了整个类脑模块化神经网络的性能;最后对基准实验的仿真研究结果表明,相较于单一神经网络,类脑模块化神经网络能通过“分而治之”有效提高处理复杂问题的能力。5.污水处理过程关键出水参数软测量模型城市污水处理过程关键出水参数的检测和控制一直是该领域的难题和挑战,文中提出一种基于模块化神经网络的关键出水参数软测量方法。首先,基于互信息分析和专家知识选取模型的输入变量;然后,模拟人脑并行处理复杂任务的特性,构建不同的子模型对不同水质参数进行实时软测量;利用自组织RBF神经网络构建子模型,实际应用中能根据具体需求侧重建模精度或建模速度。仿真实验结果表明,所建立的软测量模型能快速、精准地实现对出水生化需氧量和出水总磷的同步测量。
【学位授予单位】:北京工业大学
【学位级别】:博士
【学位授予年份】:2018
【分类号】:TP183

【参考文献】
中国期刊全文数据库 前10条
1 张昭昭;;动态自适应模块化神经网络结构设计[J];控制与决策;2014年01期
2 赵立杰;袁德成;柴天佑;;基于多分类概率极限学习机的污水处理过程操作工况识别[J];化工学报;2012年10期
3 张昭昭;乔俊飞;杨刚;;一种功能分区的BP神经网络结构设计方法[J];控制与决策;2011年11期
4 薄迎春;乔俊飞;杨刚;;一种多模块协同参与的神经网络[J];智能系统学报;2011年03期
5 张国翊;胡铮;;改进BP神经网络模型及其稳定性分析[J];中南大学学报(自然科学版);2011年01期
6 余伟;罗飞;杨红;许玉格;;基于多神经网络的污水氨氮预测模型[J];华南理工大学学报(自然科学版);2010年12期
7 乔俊飞;韩红桂;;RBF神经网络的结构动态优化设计[J];自动化学报;2010年06期
8 乔俊飞;韩红桂;;神经网络结构动态优化设计的分析与展望[J];控制理论与应用;2010年03期
9 马千里;郑启伦;彭宏;覃姜维;;基于模糊边界模块化神经网络的混沌时间序列预测[J];物理学报;2009年03期
10 王攀;李幼凤;范衠;冯帅;;模块化神经网络子网的动态集成方法学研究[J];系统工程与电子技术;2008年06期
【共引文献】
中国期刊全文数据库 前10条
1 魏立新;郑翠红;李莹;王洪瑞;;记忆径向基神经网络在冷轧液压自动位置系统的优化控制[J];计量学报;2016年01期
2 李夕兵;朱玮;刘伟军;张德明;;基于主成分分析法与RBF神经网络的岩体可爆性研究[J];黄金科学技术;2015年06期
3 丛秋梅;张北伟;苑明哲;;基于同步聚类的污水水质混合在线软测量方法[J];计算机工程与应用;2015年24期
4 孙海波;王丽敏;韩旭明;;引入趋势因子的BP模型在股市预测中应用[J];统计与决策;2015年19期
5 金星;孙宾;聂立水;吴记贵;蒋万杰;范雅倩;高培鑫;朱嘉磊;;北京松山保护区油松健康标准评价体系研究[J];广东农业科学;2015年17期
6 李龙;高永涛;吴顺川;严琼;;综合改进BP神经网络在边坡稳定性预测中的应用[J];煤炭技术;2015年09期
7 裴松年;杨秋翔;刘忠宝;;基于信度的BP神经网络[J];微电子学与计算机;2015年09期
8 李丽丽;;浅谈污水处理过程的节能优化控制[J];资源节约与环保;2015年06期
9 隆腾舞;刘红;邢永桢;高学潮;王琪;;模拟电路单故障与多故障诊断的提升小波和RBF方法[J];长春理工大学学报(自然科学版);2015年03期
10 赵仁涛;郭彩乔;李华德;崔佳星;张志芳;铁军;;基于RBF神经网络的低对比度图像自适应增强算法[J];图学学报;2015年03期
【二级参考文献】
中国期刊全文数据库 前10条
1 张昭昭;乔俊飞;;基于在线减法聚类的RBF神经网络结构设计[J];控制与决策;2012年07期
2 刘勍;许录平;马义德;王勇;;基于脉冲耦合神经网络的图像NMI特征提取及检索方法[J];自动化学报;2010年07期
3 张昭昭;乔俊飞;韩红桂;;一种基于神经网络复杂度的修剪算法[J];控制与决策;2010年06期
4 周辉仁;郑丕谔;牛犇;宗蕴;;基于递阶遗传算法和BP网络的模式分类方法[J];系统仿真学报;2009年08期
5 陈斌;万江文;吴银锋;秦楠;;神经网络和证据理论融合的管道泄漏诊断方法[J];北京邮电大学学报;2009年01期
6 乔俊飞;王会东;;模糊神经网络的结构自组织算法及应用[J];控制理论与应用;2008年04期
7 梁倩;吕勇哉;;基于HGA优化RBF网络的污水总氮软测量[J];计算机仿真;2008年07期
8 王攀;李幼凤;范衠;冯帅;;模块化神经网络子网的动态集成方法学研究[J];系统工程与电子技术;2008年06期
9 乔俊飞;张颖;;一种多层前馈神经网络的快速修剪算法[J];智能系统学报;2008年02期
10 王宪保;周德龙;王守觉;;基于仿生模式识别的构造型神经网络分类方法[J];计算机学报;2007年12期
【相似文献】
中国期刊全文数据库 前10条
1 胡悦;;金融市场中的神经网络拐点预测法[J];金融经济;2017年18期
2 韩真;凯文·哈特尼特;;为神经网络的通用理论建造基石[J];世界科学;2019年04期
3 迟惠生;陈珂;;1995年世界神经网络大会述评[J];国际学术动态;1996年01期
4 吴立可;;脉冲神经网络和行为识别[J];通讯世界;2018年12期
5 林嘉应;郑柏伦;刘捷;;基于卷积神经网络的船舶分类模型[J];信息技术与信息化;2019年02期
6 俞颂华;;卷积神经网络的发展与应用综述[J];信息通信;2019年02期
7 王丽华;杨秀萍;王皓;高峥翔;;智能双轮平衡车的设计研究[J];数字技术与应用;2018年04期
8 张庭略;;基于硬件的神经网络加速[J];通讯世界;2018年08期
9 苏秀婷;;耦合神经网络的同步[J];绍兴文理学院学报(自然科学);2016年03期
10 朱溦;;神经网络结合平均影响值方法筛选变量[J];产业与科技论坛;2017年01期
中国重要会议论文全文数据库 前10条
1 孙军田;张喆;;基于神经网络数据挖掘技术确定灾害等级的灭火救援出动力量模型研究[A];2016中国消防协会科学技术年会论文集[C];2016年
2 许进;保铮;;神经网络与图论[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年
3 唐墨;王科俊;;自发展神经网络的混沌特性研究[A];2009年中国智能自动化会议论文集(第七分册)[南京理工大学学报(增刊)][C];2009年
4 张广远;万强;曹海源;田方涛;;基于遗传算法优化神经网络的故障诊断方法研究[A];第十二届全国设备故障诊断学术会议论文集[C];2010年
5 李涛;费树岷;;具有变时滞Cohen-Grossberg神经网络的指数稳定性准则[A];第二十六届中国控制会议论文集[C];2007年
6 汪灵枝;秦发金;;具有变时滞和脉冲的离散Cohen-Grossberg神经网络的周期解[A];中国自动化学会控制理论专业委员会D卷[C];2011年
7 韩正之;林家骏;;用神经网络求解非线性相容方程[A];1993年控制理论及其应用年会论文集[C];1993年
8 林家骏;王赞基;;求解不可微优化问题的连续极大熵神经网络[A];1998年中国智能自动化学术会议论文集(上册)[C];1998年
9 姜德宏;徐德民;任章;;基于神经网络的自校正控制器[A];1993中国控制与决策学术年会论文集[C];1993年
10 窦永丰;贝超;;模糊与神经网络结合方式及在控制中的应用[A];1997年中国控制会议论文集[C];1997年
中国重要报纸全文数据库 前10条
1 记者 刘霞;忆阻器制成神经网络更高效[N];科技日报;2017年
2 整理 本报记者 诸玲珍 顾鸿儒;微软神经网络切割法可使加速作用超线性[N];中国电子报;2018年
3 ;神经网络小史[N];电子报;2018年
4 张敏;人机大战,到底谁会赢?[N];北京日报;2017年
5 ;人工智能将取得大面积突破[N];中国企业报;2017年
6 本报记者 龚丹韵;人机大战:人类还有优势吗[N];解放日报;2017年
7 ;人类正迎来云端机器人时代[N];中国企业报;2017年
8 张斌;谁还需要“同传”[N];文汇报;2017年
9 科大讯飞董事长 刘庆峰;高考机器人考入一流大学不再是梦[N];中国教育报;2017年
10 邓洲 中国社会科学院工业经济研究所;深度学习:人工智能进入应用阶段[N];上海证券报;2017年
中国博士学位论文全文数据库 前10条
1 周颖华;具时变脉冲的神经网络的稳定性研究[D];西南大学;2018年
2 张婷;深度神经网络的核映射结构和跨连结构研究[D];北京工业大学;2018年
3 胡中旭;虚拟场景人机交互中手势识别技术研究[D];华中科技大学;2018年
4 蒙西;模块化神经网络优化设计及应用研究[D];北京工业大学;2018年
5 吴霆;基于光谱技术的三文鱼品质检测方法研究[D];华南农业大学;2018年
6 杨莉萍;量子计算及其在生物化学问题中的应用研究[D];华中科技大学;2018年
7 刘梅;网络系统的稳定和同步行为研究[D];新疆大学;2017年
8 靳然;基于神经网络和支持向量机的麦蚜发生动态预测研究[D];山西农业大学;2017年
9 李骁;基于深度卷积神经网络MSCT对小肾肿瘤病理分型的预测研究[D];中国人民解放军海军军医大学;2018年
10 李若霞;基于忆阻的神经网络的动力学分析及应用[D];东南大学;2017年
中国硕士学位论文全文数据库 前10条
1 王雨桐;基于卷积神经网络的电主轴轴承故障诊断方法研究[D];沈阳建筑大学;2018年
2 赵健;桥式起重机神经网络快速设计法研究[D];太原科技大学;2018年
3 张石磊;基于改进BP神经网络的齿轮故障诊断研究[D];辽宁工程技术大学;2017年
4 刘建良;改进的小波-BP神经网络在隧道变形监测中的应用[D];辽宁工程技术大学;2017年
5 方毅;基于卷积神经网络的糖尿病视网膜病变检测方法的研究[D];福州大学;2017年
6 刘兴旺;一种多层预训练卷积神经网络在图像识别中的应用[D];中南民族大学;2018年
7 鲁新新;卷积神经网络在情感分类中的应用和研究[D];辽宁工程技术大学;2017年
8 杨超;面向人群监管的人脸检测及海量对象检索[D];福州大学;2017年
9 邓烜堃;基于神经网络股票预测模型的研究与实现[D];贵州大学;2018年
10 潘婷;基于深度学习的车辆行人检测与道路场景深度估计研究[D];浙江科技学院;2019年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026