收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

神经网络的正则化及在地质预测中的应用研究

赵俊红  
【摘要】:本论文主要对脉冲神经网络的正则化进行研究,脉冲神经网络(SNNs)被称为第三代神经网络,它模拟生物神经元模型以发放脉冲的形式进行信息传递,脉冲序列使脉冲神经网络增强了处理时空大数据的能力。理论上,脉冲神经网络比第二代神经网络更强大,但是没有在工程实践中得到广泛的应用。其主要的原因有两个:脉冲神经网络不能得到有效地训练和脉冲神经网络的模拟是计算密集型。为了构建高效低能耗的脉冲神经网络结构和算法,本文首先提出带光滑L1/2正则项的SpikeProp算法,消除脉冲神经网络中的冗余或不必要的连接权重,对脉冲神经网络进行正则化,在兼顾精度的同时提高脉冲神经网络的泛化能力和收敛速度。其次,为了进一步研究脉冲神经网络的正则化,提出五种Drop-SpikeProp算法。最后,针对隧道挖掘过程中产生的数据具有量大、多源、异构和复杂等特点,展开对隧道施工大数据进行分析和处理的研究,根据地质类型的物理力学特性,构建了人工神经网络地质预测模型,为实现隧道建筑智能化和脉冲神经网络的工程应用奠定了基础。论文主要工作包括:1.针对脉冲神经网络过拟合和收敛速度慢的问题,提出带光滑L1/2正则项的SpikeProp算法。通过将光滑L1/2正则项引入到误差函数中,使脉冲神经网络在SpikeProp算法的训练过程中一些权值变得很小最终这些权重可以从网络中删除,达到降低网络复杂度的效果,从而提高网络的收敛速度和泛化性能。另外,在特定条件下证明了算法的收敛性。实验结果表明,在保证适当分类精度的情况下,带光滑L1/2正则化的SpikeProp算法不仅可以对脉冲神经网络进行剪枝,而且还提高了其收敛速度和泛化性。另外,与L1和L1/2正则化相比,光滑L1/2正则化能达到更高的稀疏化效果。2.为了解决脉冲神经网络的过拟合问题,基于生物神经网络的突触连接是在人脑神经网络形成过程中随机产生的机制,提出两种具有固定随机失活概率的Drop-SpikeProp算法(SPDO和SPDC)。在此基础上,借鉴生物神经元具有选择性地被激活特性,进一步提出两种具有自适应失活概率的Drop-SpikeProp算法(SPADO和SPADC)和一种群自适应失活概率的Drop-SpikeProp算法(SPGAD)。这五种算法都有效地提升了脉冲神经网络的泛化性,还为深度脉冲神经网络的研究奠定了基础。另外,在一定条件下证明了SPDC算法的收敛性。实验结果表明,自适应的Drop-SpikeProp算法(SPADO、SPADC和SPGAD)比非自适应Drop-SpikeProp算法(SpikeProp、SPDO和SPDC)的正则化效果好,其中SPGAD算法的正则化效果最好。另外,三种自适应Drop-SpikeProp算法的收敛速度都比非自适应算法的收敛速度快。3.针对隧道挖掘过程中由于施工环境的高度复杂性和不确定性造成的工程数据分析和预测困难问题,首先提出一套适用于大规模复杂环境下的隧道盾构机数据分析和处理的解决方案,构建一种实时解释隧道盾构机作业数据的框架。然后根据地质类型的物理力学指标构建人工神经网络预测模型,实现地质预测的智能化。实验结果表明,数据处理过程中的特征增强能提高预测准确率;根据地质物理力学指标构造的人工神经网络模型在测试集上的性能最好,且预测准确率高于许多广泛使用的学习模型,例如支持向量回归、随机森林和XGBoost。本文针对脉冲神经网络在训练过程中存在的过拟合和收敛速度慢等问题,首先在脉冲神经网络的误差函数中引入光滑L1/2正则项,提出带光滑L1/2正则项的SpikeProp算法,实现脉冲神经网络的结构稀疏化,从而提高了网络的泛化能力和收敛速度。其次,基于两种drop随机化技术,提出五种Drop-SpikeProp算法,进一步对脉冲神经网络进行正则化。另外,通过积分方法、k近邻算法和差分方法对工程复杂大数据进行分析,构建了一种实时解释隧道盾构机作业数据的框架,通过人工神经网络实现了地质预测,为深度脉冲神经网络的研究和工程应用奠定了基础。


知网文化
【相似文献】
中国期刊全文数据库 前12条
1 熊昕;陈晓辉;吴宇轩;郑毅;张上;;基于改进的循环神经网络深度学习跌倒检测算法[J];电脑编程技巧与维护;2020年03期
2 师占群;商同;;神经网络随机逼近学习算法中随机数选法浅析[J];理工教学;1997年04期
3 胡佩聪;杨文东;吴凤广;王晋芳;;一种莱斯衰落信道下基于注意力机制的双向循环神经网络调制识别算法[J];通信技术;2021年11期
4 俞颂华;;卷积神经网络的发展与应用综述[J];信息通信;2019年02期
5 魏崴,王攀,秦娟英,徐华中;层次模块化神经网络新方法研究[J];武汉理工大学学报(信息与管理工程版);2003年06期
6 唐春明,高协平;进化神经网络的研究进展[J];系统工程与电子技术;2001年10期
7 刘欣,陶卿;基于双向神经网络的聚类器[J];计算机工程与应用;2000年02期
8 黄敏超,张育林,冯心;变结构神经网络及其应用[J];控制与决策;1994年03期
9 曹爽;张青凤;张雷;孙涛;;基于神经网络的游客流预测[J];渤海大学学报(自然科学版);2020年02期
10 袁鸣;申金山;张艺;杨瑞佳;张运辉;;基于GA-BP神经网络的全球气温预测[J];郑州航空工业管理学院学报;2020年06期
11 宋存洋;李欣;;自动化构建移动端神经网络的技术研究[J];电子技术应用;2020年12期
12 张新;李广儒;;基于GA-BP神经网络的船舶航迹预测[J];广州航海学院学报;2020年04期
中国重要会议论文全文数据库 前20条
1 徐兴;赵倩婷;王苏宁;余绍康;;基于神经网络的自适应飞机防滑刹车控制器[A];第十八届中国航空测控技术年会论文集[C];2021年
2 罗朝林;陈武奋;张波;梁啟斌;;基于小波优化神经网络在大坝变形预测的应用[A];水库大坝和水电站建设与运行管理新进展[C];2022年
3 李强;张悦娇;;神经网络的自适应有限时间容错同步控制[A];“两化”教学模式在应用型大学人才培养中的探究和实践专题论文集[C];2021年
4 逯峰;彭继国;张波;;循环神经网络在煤矿中的应用[A];煤矿自动化与信息化--第29届全国煤矿自动化与信息化学术会议暨第10届中国煤矿信息化与自动化高层论坛论文集[C];2020年
5 张星;关悦;党鑫鑫;胡波;;基于遗传算法-长短期记忆神经网络的月降水量预测研究[A];2021年(第七届)全国大学生统计建模大赛获奖论文集(二)[C];2021年
6 刘宝;张言新;;基于生物调节机制的神经网络预估解耦控制算法研究及应用[A];第32届中国过程控制会议(CPCC2021)论文集[C];2021年
7 张俊豪;赵晋锋;刘力源;;基于卷积神经网络的探地雷达隧道衬砌检测[A];2021年工业建筑学术交流会论文集[C];2021年
8 张玺森;宋浏阳;郭旭东;王华庆;;基于域融合健康指标和时间卷积神经网络的轴承退化趋势预测方法[A];第十四届全国振动理论及应用学术会议(NVTA2021)摘要集[C];2021年
9 宋尚焕;朱伟;;基于卷积神经网络的水声目标杂波分类[A];2021年浙黑苏鲁沪渝四省二市声学技术学术会议论文集[C];2021年
10 蒋子超;江俊扬;姚清河;杨耿超;;基于神经网络的差分方程快速求解方法[A];第十一届全国流体力学学术会议论文摘要集[C];2020年
11 耿传玉;王泽宇;周晓君;阳春华;;基于U-net卷积神经网络双层参数优化的心脏图像分割[A];第31届中国过程控制会议(CPCC 2020)摘要集[C];2020年
12 段滈杉;乔俊飞;蒙西;汤健;;基于模块化神经网络的城市固废焚烧过程氮氧化物软测量[A];第31届中国过程控制会议(CPCC 2020)摘要集[C];2020年
13 李淋雨;邱寅祺;何星;;基于LSTM的火电厂入口硝浓度预测方法研究[A];第31届中国过程控制会议(CPCC 2020)摘要集[C];2020年
14 韩红桂;甄琪;杜永萍;乔俊飞;;基于低秩双线性卷积神经网络的手机型号识别方法[A];第31届中国过程控制会议(CPCC 2020)摘要集[C];2020年
15 潘岚川;马乐乐;刘向杰;;基于卷积神经网络的一次风机故障预警研究[A];第31届中国过程控制会议(CPCC 2020)摘要集[C];2020年
16 马昕鹏;李艳坤;庞佳烽;;人工神经网络预测血清中血红蛋白含量[A];2019中国化学会第十五届全国计算(机)化学学术会议论文集[C];2019年
17 康忠健;罗霖;;基于长短期记忆网络的配电网线损预测方法研究[A];第三十九届中国控制会议论文集(7)[C];2020年
18 闫岱峻;刘伟;于圣炜;赵旭;;基于神经网络的散货船阻力预报方法研究[A];第三十一届全国水动力学研讨会论文集(上册)[C];2020年
19 郝立柱;韩阳;潘子英;;循环神经网络方法预报船舶操纵运动研究[A];第三十一届全国水动力学研讨会论文集(下册)[C];2020年
20 徐硕;;集合经验模态分解的多路-多级神经网络风功率预测模型[A];用电与能效专题讲座暨智能用电及能效管理技术研讨会论文集[C];2019年
中国博士学位论文全文数据库 前20条
1 赵俊红;神经网络的正则化及在地质预测中的应用研究[D];大连理工大学;2020年
2 江沸菠;基于神经网络的混合非线性电阻率反演成像[D];中南大学;2014年
3 陆婷;进化回归神经网络的研究及应用[D];华南理工大学;2003年
4 纪厚业;异质图神经网络关键技术研究[D];北京邮电大学;2021年
5 姚卫;时滞忆阻神经网络的同步与多稳定性研究[D];湖南大学;2020年
6 肖理业;基于机器学习的电磁场建模与设计研究[D];电子科技大学;2019年
7 陈涵瀛;核电站热工水力系统工况预测与诊断方法研究[D];哈尔滨工程大学;2018年
8 梁智杰;聋哑人手语识别关键技术研究[D];华中师范大学;2019年
9 刘昂;微结构硅基光子学器件性能的研究[D];南京大学;2019年
10 赵博雅;基于卷积神经网络的硬件加速器设计及实现研究[D];哈尔滨工业大学;2018年
11 杜昌顺;面向细分领域的舆情情感分析关键技术研究[D];北京交通大学;2019年
12 陈科海;机器翻译上下文表示方法研究[D];哈尔滨工业大学;2019年
13 饶红霞;信息受限下神经网络的状态估计和拟同步研究[D];广东工业大学;2019年
14 张马路;Spiking机器学习算法研究[D];电子科技大学;2019年
15 付钱华;忆阻神经网络的动力学研究[D];电子科技大学;2019年
16 毛瑞琛;深度神经网络下的规范化地址建设与语义空间模型研究[D];浙江大学;2019年
17 武晨;DFP航天器动力学特性分析及精确控制方法研究[D];哈尔滨工业大学;2018年
18 杨旭辉;基于神经网络的C-ADS InjectorⅡ束流偏移校准技术研究[D];兰州大学;2019年
19 樊英杰;时滞忆阻神经网络的镇定及同步控制研究[D];山东科技大学;2019年
20 冉令燕;基于卷积神经网络的图像分类研究[D];西北工业大学;2018年
中国硕士学位论文全文数据库 前20条
1 刘玉东;基于忆阻器的脉冲神经网络在图像边缘提取中的应用[D];东北师范大学;2015年
2 王博;脉冲神经网络的噪声扰动分析[D];大连理工大学;2013年
3 李永礼;基于脉冲神经网络的视觉图像分类方法研究[D];北京化工大学;2019年
4 陈小勇;基于蚁群神经网络的软件老化趋势预测[D];哈尔滨工程大学;2011年
5 李玲燕;基于优化神经网络的上市公司财务危机预警研究[D];上海工程技术大学;2017年
6 陈柯;基于机器视觉技术的动态行人监测系统研究[D];上海工程技术大学;2016年
7 张宸鹏;回复式神经网络若干关键问题研究[D];电子科技大学;2021年
8 阙禄颖;基于轻量级神经网络的行人检测技术研究[D];电子科技大学;2021年
9 田野;多精度神经网络加速阵列研究[D];电子科技大学;2021年
10 谢仁义;饱和脉冲Cohen-Grossberg神经网络稳定性分析[D];西南大学;2020年
11 侯洁;多权重耦合神经网络的反同步与有限时间反同步[D];天津工业大学;2019年
12 樊志文;基于深度卷积神经网络的CS-MRI重建方法研究[D];厦门大学;2019年
13 冯冰;基于深度学习的环境声音分类研究[D];厦门大学;2017年
14 柴志忠;基于深度卷积神经网络的病理影像研究[D];厦门大学;2019年
15 刘晓瑜;基于卷积神经网络的新鲜-冷冻猪肉近红外光谱检测研究[D];湖南大学;2019年
16 向鹏程;基于智能算法的自动化霜控制研究[D];天津商业大学;2019年
17 刘光云;基于多特征卷积神经网络的高光谱图像分类方法研究[D];湖南大学;2019年
18 周珍;基于卷积神经网络的指针手表读时方法研究[D];湖南大学;2019年
19 曹红英;基于卷积神经网络的交通标志检测与识别研究[D];湖南大学;2019年
20 汪文;基于链接预测的miRNA疾病相关性研究[D];厦门大学;2019年
中国重要报纸全文数据库 前20条
1 记者 张梦然;神经网络打开理解电子相互作用新窗口[N];科技日报;2021年
2 记者 董映璧;神经网络技术检测玻璃钢缺陷精度高[N];科技日报;2020年
3 湖北日报全媒记者 张爱虎 通讯员 徐向军 实习生 于蓝;一群“90后”率先建成铁路“神经网络”[N];湖北日报;2019年
4 记者 刘霞;忆阻器制成神经网络更高效[N];科技日报;2017年
5 整理 本报记者 诸玲珍 顾鸿儒;微软神经网络切割法可使加速作用超线性[N];中国电子报;2018年
6 ;神经网络小史[N];电子报;2018年
7 ;人工智能将取得大面积突破[N];中国企业报;2017年
8 本报记者 龚丹韵;人机大战:人类还有优势吗[N];解放日报;2017年
9 ;人类正迎来云端机器人时代[N];中国企业报;2017年
10 记者 邱智丽;AI竞赛 中国力量崛起[N];第一财经日报;2017年
11 记者 刘霞;新神经网络使计算机像人一样推理[N];科技日报;2017年
12 本报记者 喻思娈;人工智能有多智能?[N];人民日报;2017年
13 记者 王雪青;构建机器世界神经网络 东土科技“抄底”人工智能[N];上海证券报;2017年
14 ;人工智能到底有多智能?[N];长白山日报;2017年
15 本报记者 刘霞;美用DNA制造出首个人造神经网络[N];科技日报;2011年
16 记者 冯海波 通讯员 华轩;构建叠层宽度神经网络成深度模型[N];广东科技报;2021年
17 记者 毛黎;神经网络技术帮自主驾驶汽车识别幻影物体[N];科技日报;2020年
18 记者 孙刚;“神经网络”:打开复杂工艺“黑箱”[N];解放日报;2007年
19 本报首席记者 任荃 实习生 史博臻;轨交“神经网络”触动创新神经[N];文汇报;2011年
20 记者 张梦然;神经网络完成芯片设计仅需几小时[N];科技日报;2021年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978