收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

正则化方法解决神经网络稀疏化问题

余钜东  
【摘要】:神经网络的输入数据中有时包含有一些无用的信息,我们称它们为冗余数据。如果包含有冗余数据,我们就需要把它们找出来,我们把这个过程称之为神经网络稀疏化问题。找出数据中的冗余项,我们就可以去掉这些数据。本文提出了把BP神经网络和正则化方法相结合的办法来解决神经网络稀疏化问题。正则化方法主要有L0正则化,L1正则化,L2正则化和L1/2正则化。由于L0正则化的问题比较困难,难以推广和应用;L2正则化的稀疏性比较差,对于找出冗余数据没有什么帮助。因此,我们主要采用把BP神经网络和L1正则化方法相结合及BP神经网络和L1/2正则化方法相结合的方法来解决问题。该方法运用梯度下降法来更新权值,训练网络,最后得到一个较为稳定的结果。最后,我们在一个逼近问题和一个分类问题上进行数值实验,实验表明,我们的方法能够解决神经网络稀疏化问题。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 李妍妍;李媛媛;叶世伟;;基于流形正则化的支持向量回归及应用[J];计算机应用;2007年08期
2 毛玉明;郭杏林;赵岩;吕洪彬;;基于精细计算的动载荷反演问题正则化求解[J];动力学与控制学报;2009年04期
3 仇光;郑淼;张晖;朱建科;卜佳俊;陈纯;杭航;;基于正则化主题建模的隐式产品属性抽取[J];浙江大学学报(工学版);2011年02期
4 刘超,刁现芬,汪元美;超声逆散射成像问题中的正则化方法研究[J];浙江大学学报(工学版);2005年02期
5 周定法;;电磁逆散射成像的一种混合正则化方法[J];微计算机信息;2007年13期
6 顾勇为;归庆明;张磊;;基于复共线性诊断的正则化方法[J];信息工程大学学报;2007年04期
7 蔡传宝;汤文成;;基于有限元法-正则化的弹性模量反求算法研究[J];应用力学学报;2009年01期
8 侯卫东,莫玉龙;动态电阻抗图象重建的正则化方法[J];计算机工程;2001年09期
9 王彦飞;数值求解迭代Tikhonov正则化方法的一点注记[J];数值计算与计算机应用;2002年03期
10 许建华,张学工,李衍达;最小平方误差算法的正则化核形式[J];自动化学报;2004年01期
11 凌建国;刘尔琦;梁海燕;杨杰;;基于正则化观测矢量的H无穷粒子滤波红外目标跟踪方法[J];红外与激光工程;2007年04期
12 宛艳萍;孙曙光;肖庭延;;数值求导的离散正则化方法[J];计算机工程与科学;2008年10期
13 任淑艳;李小鹏;杨永刚;李静;段海龙;;正则化技术在锥光全息测量图像处理中的应用[J];机床与液压;2011年09期
14 吴玲达;郝红星;;一种图像去模糊正则化恢复算法参数确定方法[J];国防科技大学学报;2012年04期
15 李妍妍;李媛媛;叶世伟;;基于流形正则化的分类与回归算法及应用[J];计算机仿真;2007年10期
16 李文亮;牟善祥;徐光进;刘峰;;基于正则化估计的宽带阵列通道校正方法[J];现代雷达;2013年02期
17 戴伟辉,高汝熹;不适定逆成像问题的多准则正则化求解方法[J];复旦学报(自然科学版);2000年01期
18 薛晖;;判别性正则化:一种新颖的分类器学习方法(英文)[J];Transactions of Nanjing University of Aeronautics & Astronautics;2009年01期
19 吕佳;;结合全局和局部正则化的半监督二分类算法[J];计算机应用;2012年03期
20 杨华,许王莉,赵红蕊,陈雪,王锦地;定量遥感正则化反演中的信息流及其控制[J];中国科学(D辑:地球科学);2003年08期
中国重要会议论文全文数据库 前8条
1 杨元喜;徐天河;;综合验前模型信息和验后观测信息的自适应正则化方法[A];《大地测量与地球动力学进展》论文集[C];2004年
2 解凯;吕妍昱;;一种高效的正则化参数估计算法[A];全国第19届计算机技术与应用(CACIS)学术会议论文集(上册)[C];2008年
3 苏利敏;王耀威;王彦飞;;基于SAR特征的正则化计算方法及其在纹理分类中的应用[A];第25届中国控制会议论文集(下册)[C];2006年
4 曹毅;吕英华;;基于微遗传算法和正则化处理的模糊图像复原方法[A];全国第13届计算机辅助设计与图形学(CAD/CG)学术会议论文集[C];2004年
5 周定法;薄亚明;;解电磁逆散射问题的截断完全最小二乘方法[A];第七届工业仪表与自动化学术会议论文集[C];2006年
6 魏素花;王双虎;许海波;;轴对称物体X射线层析成像的正则化方法[A];全国射线数字成像与CT新技术研讨会论文集[C];2012年
7 刘晓芳;徐文龙;陈永利;;基于非二次正则化的并行磁共振图像保边性重建[A];浙江生物医学工程学会第九届年会论文汇编[C];2011年
8 王金海;王琦;郑羽;;基于L_1正则化和投影方法的电阻抗图像重建算法[A];天津市生物医学工程学会第三十三届学术年会论文集[C];2013年
中国博士学位论文全文数据库 前10条
1 钟敏;反问题多尺度迭代正则化方法[D];复旦大学;2014年
2 产文;Web社区问答检索的关键技术研究[D];复旦大学;2014年
3 方晟;基于正则化的高倍加速并行磁共振成像技术[D];清华大学;2010年
4 肖铨武;基于核的正则化学习算法[D];中国科学技术大学;2009年
5 薛晖;分类器设计中的正则化技术研究[D];南京航空航天大学;2008年
6 王林军;正则化方法及其在动态载荷识别中的应用[D];湖南大学;2011年
7 吴颉尔;正则化方法及其在模型修正中的应用[D];南京航空航天大学;2007年
8 王光新;基于稀疏约束正则化模型的图像提高分辨率技术研究[D];国防科学技术大学;2008年
9 杨俊刚;利用稀疏信息的正则化雷达成像理论与方法研究[D];国防科学技术大学;2013年
10 王静;电阻抗成像的几种正则化方法研究[D];哈尔滨工业大学;2015年
中国硕士学位论文全文数据库 前10条
1 董国志;反问题的正则化方法及其计算[D];湖南师范大学;2012年
2 焦艳东;带约束的Tikhonov正则化方法的应用[D];河北工业大学;2004年
3 岳建惠;电阻率成像反问题的混合正则化方法研究[D];大连海事大学;2012年
4 焦彩红;正则化夹角间隔核向量机[D];河北大学;2015年
5 孟晋华;一维热方程热源识别问题的正则化方法[D];兰州大学;2009年
6 曹宏举;最大团问题的熵正则化方法研究[D];大连理工大学;2006年
7 张衍敏;基于正则化的多分散系纳米颗粒粒度反演优化方法研究[D];齐鲁工业大学;2015年
8 梅丹;正则化模型下图像处理的算法设计与实现[D];国防科学技术大学;2007年
9 杨娇;参数变化识别问题的稀疏约束正则化方法及应用[D];哈尔滨工业大学;2015年
10 方丹;不适定非齐次抽象终止问题的正则化方法及其比较[D];华中科技大学;2011年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978