收藏本站
《北京邮电大学》 2017年
收藏 | 手机打开
二维码
手机客户端打开本文

基于深度学习的图像分类

孙炜晨  
【摘要】:最近几年随着深度学习技术的飞速发展,机器学习算法的性能得到了大幅提升。深度学习技术作为一种非常有潜力的机器学习算法,正潜移默化地改变着我们的生活方式。深度学习模型,像卷积神经网络(CNN),递归神经网络(RNN)和长短期记忆人工神经网络(LSTM)等,已在计算机视觉、语音识别、自然语言处理等领域得到了广泛的应用和关注,推动了相关领域的发展。在数据量呈爆炸式增长的时代,为了充分发挥大数据的优势,挖掘数据中潜在的规律和信息,如何有效地训练更深、更复杂的神经网络模型已经成为了学术界和工业界共同关注的问题。深度学习技术通过无监督预训练的方式在一定程度上缓解了深度神经网络模型的训练困难,但是在发掘深度神经网络巨大的潜能上,仍然存在着一些亟待解决的难题:(1)梯度消失和梯度爆炸。这两个问题普遍存在于使用基于梯度方法(比如反向传播算法)训练深度神经网络模型的过程中,由于梯度在传播过程中的不断衰减,使得模型低层的参数不能得到充分地训练,随着模型深度的不断增加,这种情况变得更为严重。(2)过拟合问题。由于模型同时拟合了训练数据中的潜在分布和噪声,而其中的噪声对测试数据并不适用,造成了模型在测试数据上性能可能下滑严重的现象,影响了模型的泛化能力。本文将从非线性激活函数、模型参数初始化方法和正则化方法三个角度来缓解上述深度神经网络模型训练的难题。论文的主要工作和贡献如下:1.提出了一 种使用多层 Maxout 网络(Multilayer Maxout Network,MMN)的非线性激活函数,同时继承了非饱和激活函数和训练数据驱动的特性,能够拟合任意形状的非线性激活函数。MMN激活函数的一个主要优势在于可训练的特性和逐段线性的结构,可以缓解反向传播过程中出现的梯度消失问题;另一个主要优势在于MMN激活函数的多层结构,能够与端到端训练相结合,提高卷积神经网络模型的特征表示能力。2.通过理论分析深度神经网络模型的前向传播和反向传播过程,提出了一种基于MMN激活函数的模型参数初始化方法,这种初始化也适用于Maxout激活函数。在CIFAR10, CIFAR-100和ImageNet图像分类数据集上的实验结果证明本文所提出的模型参数初始化方法能够降低信号在隐层之间传播时隐层分布的变化,从而有效缓解深度神经网络模型训练过程中遇到的梯度消失和梯度爆炸问题。3.提出了一种基于联合目标函数的正则化方法,通过增加辅助监督信息,对深度神经网络模型的训练起到正则化的作用。本文提出的这种基于联合目标函数的正则化方法具有以下三个方面的优势:(1)联合目标函数包含两类辅助监督信息,分别是对卷积核参数的辅助监督信息和对非线性激活函数的辅助监督信息,两类监督信息都能有效缓解模型的过拟合问题,提高深度神经网络模型的性能,其中对非线性激活函数的辅助监督信息效果更加明显;(2)通过在预训练阶段使用结合了辅助监督信息的联合目标函数,深度神经网络模型的低层能够学习到更具区分性的特征,为后面端到端的有监督调优过程寻找一个更优的模型参数初始状态;(3)这种基于联合目标函数的正则化方法具有很好的通用性,能够和诸如dropout、数据增强等正则化方法结合使用,缓解深度神经网络模型的过拟合问题。
【学位授予单位】:北京邮电大学
【学位级别】:博士
【学位授予年份】:2017
【分类号】:TP391.41;TP181

手机知网App
【相似文献】
中国期刊全文数据库 前10条
1 朱赟,吴炜;图像分类中变形决策树的应用[J];计算机工程与应用;2004年21期
2 陈戏墨,徐红兵,李志铭,谢铉洋,李曦,李扬彬;数据挖掘在医学图像分类中的应用[J];现代计算机(专业版);2005年01期
3 冀翠萍;孟祥增;;基于内容的图像分类体系[J];电脑知识与技术(学术交流);2007年07期
4 杨杰;陈晓云;;图像分类方法比较研究[J];微计算机应用;2007年06期
5 杨文潮;姜志坚;;图像分类技术研究[J];福建电脑;2008年08期
6 葛寒娟;邱桃荣;王剑;卢强;李北;刘韬;聂斌;;一种基于相容信息粒原理的图像分类方法[J];广西师范大学学报(自然科学版);2008年03期
7 王军;王员云;;粒计算及其在图像分类中的应用研究[J];计算机工程与科学;2009年03期
8 吴军;王士同;;基于正负模糊规则的相结合的图像分类[J];计算机应用;2011年01期
9 吴军;王士同;赵鑫;;正负模糊规则系统、极限学习机与图像分类[J];中国图象图形学报;2011年08期
10 郝永宽;王威;聂维同;王德强;;图像分类与聚类分析[J];数字技术与应用;2011年12期
中国重要会议论文全文数据库 前10条
1 郑海红;曾平;;一种基于图像分类的逆半调算法[A];’2004计算机应用技术交流会议论文集[C];2004年
2 文振焜;欧阳杰;朱为总;;基于语义特征与支持向量机的图像分类[A];中国电子学会第十六届信息论学术年会论文集[C];2009年
3 王海峰;管亮;;基于颜色特征的图像分类技术在油品分析中的应用[A];中国仪器仪表学会第六届青年学术会议论文集[C];2004年
4 陈思坤;吴洪;;基于图分块并利用空间金字塔的医学图像分类[A];第六届和谐人机环境联合学术会议(HHME2010)、第19届全国多媒体学术会议(NCMT2010)、第6届全国人机交互学术会议(CHCI2010)、第5届全国普适计算学术会议(PCC2010)论文集[C];2010年
5 张淑雅;赵晓宇;赵一鸣;李均利;;基于SVM的图像分类[A];第十三届全国图象图形学学术会议论文集[C];2006年
6 孙宝成;刘锡荟;;时间序列神经网络模型[A];全国青年管理科学与系统科学论文集(第1卷)[C];1991年
7 周金荣;胡泽新;黄道;;一种多层混合型神经网络模型的研究[A];1995中国控制与决策学术年会论文集[C];1995年
8 王阿明;刘天放;;高阶神经网络模型特性研究[A];中国地球物理学会年刊2002——中国地球物理学会第十八届年会论文集[C];2002年
9 李博;韩萍;;基于压缩感知和SVM的极化SAR图像分类[A];第二十七届中国(天津)2013IT、网络、信息技术、电子、仪器仪表创新学术会议论文集[C];2013年
10 屈景怡;王如彬;;大脑皮层神经网络模型同步问题研究[A];第十四届全国非线性振动暨第十一届全国非线性动力学和运动稳定性学术会议摘要集与会议议程[C];2013年
中国重要报纸全文数据库 前1条
1 自治区交通厅养路费征稽处 程爱娟;应用“神经网络模型”预测妇女的平均工资水平[N];新疆科技报(汉);2000年
中国博士学位论文全文数据库 前10条
1 孙炜晨;基于深度学习的图像分类[D];北京邮电大学;2017年
2 胡尧;基于低秩矩阵估计的机器学习算法分析[D];浙江大学;2015年
3 李昌英(Ri ChangYong);基于上下文信息的语义图像分类研究[D];浙江大学;2014年
4 陈博;基于集成学习和特征选择的极化SAR地物分类[D];西安电子科技大学;2015年
5 王晓东;基于稀疏特征学习的复杂图像分类[D];西安电子科技大学;2014年
6 顾迎节;面向图像分类的主动学习算法研究[D];南京理工大学;2015年
7 孟丹;基于深度学习的图像分类方法研究[D];华东师范大学;2017年
8 胡慧君;带钢缺陷图像分类中的智能算法研究[D];武汉大学;2015年
9 赵鑫;图像分类中的判别性增强研究[D];中国科学技术大学;2013年
10 杨冰;基于艺术风格的绘画图像分类研究[D];浙江大学;2013年
中国硕士学位论文全文数据库 前10条
1 张明静;基于改进遗传算法的分块综合特征加权图像分类研究[D];华南理工大学;2015年
2 李函怡;融合主动学习的半监督技术在图像分类中的应用研究[D];西南大学;2015年
3 王亚凤;基于多特征的主动学习方法在图像分类中的应用研究[D];河北工程大学;2015年
4 陈荣安;基于改进的Bag-of-Features模型的图像分类研究[D];兰州大学;2015年
5 钟畏丹;基于HSV和纹理特征的图像分类[D];华中师范大学;2015年
6 焦阳;基于主动学习的多标签图像分类方法研究[D];苏州大学;2015年
7 王腾川;基于主动学习的SAR图像分类方法研究[D];上海交通大学;2015年
8 NGUYEN QUANG KHANH;基于极化SAR目标信息提取与SVM分类[D];哈尔滨工业大学;2015年
9 王朔琛;基于半监督支持向量机的图像分类方法研究[D];陕西师范大学;2015年
10 杨东坡;基于深度学习的商品图像分类[D];大连交通大学;2015年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026