收藏本站
《北京工业大学》 2018年
收藏 | 手机打开
二维码
手机客户端打开本文

深度神经网络的核映射结构和跨连结构研究

张婷  
【摘要】:经过十余年的快速发展,深度学习受到了越来越多的关注。深度学习是指各种训练深度神经网络的方法的总和。基于这些方法,深度神经网络能够从大量的复杂数据中学习到合适且有效的特征,在用来解决实际问题时常常能够取得极佳的效果。这是深度学习受到了学术界和工业界普遍青睐的根本原因。本文的主要工作包括两个基本方面:深度核映射结构和深度跨连结构。深度核映射结构旨在利用深度神经网络解决支持向量机的核学习问题,深度跨连结构旨在利用跨层连接提升深度神经网络的学习性能。深度核映射结构在理论上能够通过一个显式的深度神经网络逼近任意的核映射,跳出了利用基本核的线性或非线性组合来进行核学习的传统思路,有望克服核学习的根本困难。深度跨连结构可以利用拼接和融合的方法把不同尺度的特征集成起来,对改善深度神经网络的性能具有重要意义。事实上,使用了跨连结构的残差网络和密连网络,分别在CVPR 2016和CVPR 2017被评为最佳论文,说明跨连结构的重要性已在深度学习领域获得共识。本文取得的主要创新性研究成果概括如下:1.提出了深度神经映射支持向量机模型,用于克服核学习的困难。该模型利用深度神经网络逼近核映射的思想,使用深度神经网络表示核映射将原始输入映射到特征空间,然后在特征空间使用支持向量机进行分类。与传统的由核函数诱导的隐式函数不同,该模型是一种新的通用的支持向量机模型,其中核映射实际上是由深度网络表示的显式函数。而且,该模型使用对比散度和梯度下降两阶段学习方法联合训练自适应核映射,无需使用核技巧。实验结果证实了深度神经映射支持向量机优于神经支持向量机和径向基函数支持向量机,表明了它的有效性。2.提出了跨连卷积神经网络模型,用于拼接两尺度特征提升学习性能。该模型是一个8层的网络结构,包含输入层、6个由卷积层和池化层交错构成的隐含层、1个全连接层和输出层,其中允许第2个池化层跨过两个隐含层直接与全连接层相连。10个人脸数据集上的性别分类实验表明,跨连卷积神经网络的准确率均不低于传统卷积神经网络。3.提出了跨连卷积神经网络的拼接框架,用于拼接多尺度特征提升学习性能。该框架使用二值跨连指示符表达不同的拼接情况,利用带有固定权值的跨层连接将不同的卷积层和池化层直接连接到全连接层,最后将全连接层连接到输出层。在性别分类、纹理分类、数字识别和物体识别四个任务上的实验证实,跨连卷积神经网络优于传统的卷积神经网络。另外,在不同的池化机制、激活函数、优化方法、初始化方法、核的数量和大小的情况下具有更好的稳定性。而且,跨连卷积神经网络可以获得与残差网络和GoogLeNet可比较的结果,以及比密连网络、多尺度CNN和DeepID好的结果。4.提出了跨连卷积神经网络的融合框架,用于融合多尺度特征提升学习性能。该框架利用加权跨连的思想,将不同的卷积层和池化层直接连接到具有固定节点数的全连接层,然后将全连接层连接到输出层。在性别分类、纹理分类、数字识别和物体识别四个任务上的实验证实,跨连卷积神经网络优于传统的卷积神经网络。另外,在不同的池化机制、激活函数、初始化方法和遮挡块的情况下的稳定性更好。而且,跨连卷积神经网络可以获得与残差网络可比较的结果,以及比GoogLeNet、密连网络、多尺度CNN、DeepID和CS-CNN好的结果。
【学位授予单位】:北京工业大学
【学位级别】:博士
【学位授予年份】:2018
【分类号】:TP183

【参考文献】
中国期刊全文数据库 前1条
1 汪洪桥;孙富春;蔡艳宁;陈宁;丁林阁;;多核学习方法[J];自动化学报;2010年08期
【共引文献】
中国期刊全文数据库 前10条
1 余清清;曾健民;林德贵;;基于KLCCF和SPG-GMKL的财务危机预警模型[J];计算机与数字工程;2015年12期
2 刘吉臻;秦天牧;杨婷婷;吕游;;基于自适应多尺度核偏最小二乘的SCR烟气脱硝系统建模[J];中国电机工程学报;2015年23期
3 张维强;赵荣珍;李坤杰;;基于MSKPCA和SVM的转子故障诊断模型及应用[J];机械设计与制造;2015年10期
4 石怀涛;宋文丽;张珂;谭帅;;基于改进核主元分析的故障检测[J];上海应用技术学院学报(自然科学版);2015年03期
5 高盛祥;董人菘;邹俊杰;线岩团;余正涛;;基于多核学习算法的钢铁生产轧钢过程故障检测[J];昆明理工大学学报(自然科学版);2015年04期
6 李素;李鲁文;庄大方;王勇;;混合核函数研究及其在数据建模领域应用进展[J];计算机仿真;2015年07期
7 李琦;李晓航;邢丽萍;邵诚;;基于l_p-范数约束的LSSVR多核学习算法[J];控制与决策;2015年09期
8 谭熊;余旭初;张鹏强;付琼莹;魏祥坡;高猛;;基于MKSVM和MRF的高光谱影像分类方法[J];国土资源遥感;2015年03期
9 胡庆辉;丁立新;刘晓刚;李照奎;;基于原问题求解的非稀疏多核学习方法[J];华南理工大学学报(自然科学版);2015年05期
10 赵捷珍;郭春生;;基于GF空间多项式核函数的分类研究[J];杭州电子科技大学学报(自然科学版);2015年03期
【二级参考文献】
中国期刊全文数据库 前3条
1 黎铭;周志华;;基于多核集成的在线半监督学习方法[J];计算机研究与发展;2008年12期
2 牟少敏;田盛丰;尹传环;;基于协同聚类的多核学习[J];北京交通大学学报;2008年02期
3 ;MULTI-SCALE GAUSSIAN PROCESSES MODEL[J];Journal of Electronics;2006年04期
【相似文献】
中国期刊全文数据库 前10条
1 胡悦;;金融市场中的神经网络拐点预测法[J];金融经济;2017年18期
2 韩真;凯文·哈特尼特;;为神经网络的通用理论建造基石[J];世界科学;2019年04期
3 迟惠生;陈珂;;1995年世界神经网络大会述评[J];国际学术动态;1996年01期
4 吴立可;;脉冲神经网络和行为识别[J];通讯世界;2018年12期
5 林嘉应;郑柏伦;刘捷;;基于卷积神经网络的船舶分类模型[J];信息技术与信息化;2019年02期
6 俞颂华;;卷积神经网络的发展与应用综述[J];信息通信;2019年02期
7 王丽华;杨秀萍;王皓;高峥翔;;智能双轮平衡车的设计研究[J];数字技术与应用;2018年04期
8 张庭略;;基于硬件的神经网络加速[J];通讯世界;2018年08期
9 苏秀婷;;耦合神经网络的同步[J];绍兴文理学院学报(自然科学);2016年03期
10 朱溦;;神经网络结合平均影响值方法筛选变量[J];产业与科技论坛;2017年01期
中国重要会议论文全文数据库 前10条
1 孙军田;张喆;;基于神经网络数据挖掘技术确定灾害等级的灭火救援出动力量模型研究[A];2016中国消防协会科学技术年会论文集[C];2016年
2 许进;保铮;;神经网络与图论[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年
3 唐墨;王科俊;;自发展神经网络的混沌特性研究[A];2009年中国智能自动化会议论文集(第七分册)[南京理工大学学报(增刊)][C];2009年
4 张广远;万强;曹海源;田方涛;;基于遗传算法优化神经网络的故障诊断方法研究[A];第十二届全国设备故障诊断学术会议论文集[C];2010年
5 李涛;费树岷;;具有变时滞Cohen-Grossberg神经网络的指数稳定性准则[A];第二十六届中国控制会议论文集[C];2007年
6 汪灵枝;秦发金;;具有变时滞和脉冲的离散Cohen-Grossberg神经网络的周期解[A];中国自动化学会控制理论专业委员会D卷[C];2011年
7 韩正之;林家骏;;用神经网络求解非线性相容方程[A];1993年控制理论及其应用年会论文集[C];1993年
8 林家骏;王赞基;;求解不可微优化问题的连续极大熵神经网络[A];1998年中国智能自动化学术会议论文集(上册)[C];1998年
9 姜德宏;徐德民;任章;;基于神经网络的自校正控制器[A];1993中国控制与决策学术年会论文集[C];1993年
10 窦永丰;贝超;;模糊与神经网络结合方式及在控制中的应用[A];1997年中国控制会议论文集[C];1997年
中国重要报纸全文数据库 前10条
1 记者 刘霞;忆阻器制成神经网络更高效[N];科技日报;2017年
2 整理 本报记者 诸玲珍 顾鸿儒;微软神经网络切割法可使加速作用超线性[N];中国电子报;2018年
3 ;神经网络小史[N];电子报;2018年
4 张敏;人机大战,到底谁会赢?[N];北京日报;2017年
5 ;人工智能将取得大面积突破[N];中国企业报;2017年
6 本报记者 龚丹韵;人机大战:人类还有优势吗[N];解放日报;2017年
7 ;人类正迎来云端机器人时代[N];中国企业报;2017年
8 张斌;谁还需要“同传”[N];文汇报;2017年
9 科大讯飞董事长 刘庆峰;高考机器人考入一流大学不再是梦[N];中国教育报;2017年
10 邓洲 中国社会科学院工业经济研究所;深度学习:人工智能进入应用阶段[N];上海证券报;2017年
中国博士学位论文全文数据库 前10条
1 周颖华;具时变脉冲的神经网络的稳定性研究[D];西南大学;2018年
2 张婷;深度神经网络的核映射结构和跨连结构研究[D];北京工业大学;2018年
3 刘梅;网络系统的稳定和同步行为研究[D];新疆大学;2017年
4 靳然;基于神经网络和支持向量机的麦蚜发生动态预测研究[D];山西农业大学;2017年
5 李骁;基于深度卷积神经网络MSCT对小肾肿瘤病理分型的预测研究[D];中国人民解放军海军军医大学;2018年
6 李若霞;基于忆阻的神经网络的动力学分析及应用[D];东南大学;2017年
7 项延德;基于卷积神经网络的心电信号检测和分类研究[D];浙江大学;2018年
8 李一鸣;结合知识和神经网络的文本表示方法的研究[D];浙江大学;2018年
9 李扬;面向图像目标识别和检测的深度神经网络关键技术研究[D];北京邮电大学;2018年
10 LYDIA LAZIB;文本否定范围识别技术研究及其应用[D];哈尔滨工业大学;2018年
中国硕士学位论文全文数据库 前10条
1 王雨桐;基于卷积神经网络的电主轴轴承故障诊断方法研究[D];沈阳建筑大学;2018年
2 赵健;桥式起重机神经网络快速设计法研究[D];太原科技大学;2018年
3 张石磊;基于改进BP神经网络的齿轮故障诊断研究[D];辽宁工程技术大学;2017年
4 刘建良;改进的小波-BP神经网络在隧道变形监测中的应用[D];辽宁工程技术大学;2017年
5 方毅;基于卷积神经网络的糖尿病视网膜病变检测方法的研究[D];福州大学;2017年
6 刘兴旺;一种多层预训练卷积神经网络在图像识别中的应用[D];中南民族大学;2018年
7 鲁新新;卷积神经网络在情感分类中的应用和研究[D];辽宁工程技术大学;2017年
8 杨超;面向人群监管的人脸检测及海量对象检索[D];福州大学;2017年
9 邓烜堃;基于神经网络股票预测模型的研究与实现[D];贵州大学;2018年
10 潘婷;基于深度学习的车辆行人检测与道路场景深度估计研究[D];浙江科技学院;2019年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026