收藏本站
《吉林大学》 2019年
收藏 | 手机打开
二维码
手机客户端打开本文

基于深度学习与虚拟数据的车辆识别与状态估计研究

王也  
【摘要】:智能化是未来汽车技术发展的重要方向,而环境传感感知是智能驾驶系统的重要组成部分。由于其低成本、采集信息丰富且对周围环境和其它传感器无影响等优势,车载相机一直是智能驾驶最常用的环境传感器之一。然而基于图像处理技术的目标识别和状态估计仍然具有很大的挑战。对车辆这一重要交通参与物的识别与状态估计一直以来是智能驾驶系统的研究热点。近些年来由于硬件计算性能的提升以及大量带有真值标注数据集的出现,数据驱动的深度神经网络在目标识别领域取得了巨大的成功。这些研究方法同样在车辆识别中得到了广泛的应用。这类方法以图像为输入,以目标车辆在图像坐标系下的2D包围盒作为输出。虽然这些研究方法同样适用于对车辆的识别,但其研究普遍针对通用型目标检测,并没有为针对车辆这种特定目标进行优化,这使得将这类方法应用于车辆2D包围盒检测时并不准确,也不高效。此外,通用目标检测器一般输出的是图像坐标系下车辆的2D包围盒信息,不能产生智能驾驶系统所需目标车辆的位置、姿态和尺寸等信息,而这些信息是支持汽车智能驾驶精准决策的关键参数。对目标车辆进行3D包围盒状态估计是更加有意义的任务。通常的做法是使用诸如激光雷达等其它带深度信息的传感器信号并与图像信号融合。然而激光雷达传感器价格昂贵并不实用,使用单目相机完成这个任务很难取得令人满意的精度,技术上具有很强的挑战性,也鲜有相关的研究。基于数据驱动的深度学习方法为车辆识别与状态估计提供了一条极好的解决途径。但此类方法需要大量带有标注的数据集进行模型训练。卷积神经网络越复杂,参数越多,网络可能有更高的拟合能力,但同时也需要更多的数据用于模型训练。然而,在真实世界中采集图像数据并对数据进行人工标注不仅十分繁琐,而且可能导致标注不精确和不统一。虚拟数据是基于计算机图形学技术,通过建模与3D渲染产生的模拟数据。相比于真实数据集,虚拟数据集不仅生成容易,且标注准确、可自动化。随着近年来计算机软硬件技术的不断发展,虚拟数据的逼真度也在不断提高,在模型训练上可一定程度上替代真实数据集。然而,目前的虚拟数据还远不足以完全替代真实数据并广泛应用于深度学习的模型训练,如何生成高逼真度且具有丰富内容变化的虚拟数据集还有待于进一步研究,其各个关键成像因素对于最终检测结果的影响机理尚需进一步探索。相比于2D包围盒的标注,在图像数据上进行3D包围盒的标注更加困难。虚拟数据则可进行自动的3D包围盒标注,并且标注结果统一且准确。虽然使用虚拟数据集进行3D包围盒状态估计的模型训练具有明显优势,但相关的应用却很少见,如何缩小虚拟数据与真实数据之间的域差,使得基于虚拟数据训练的模型能够在实际应用中获得良好的效果依然是一项挑战。针对上述问题,本文对车辆的2D包围盒检测、3D包围盒状态估计和虚拟数据集的生成与应用等开展了深入的研究。主要研究内容如下:1.本文在原始Faster R-CNN目标检测器的基础上开展了针对车辆2D包围盒检测的优化研究。在区域候选阶段,本文首先通过特殊的网络设计方法生成了多形状的感受野,使得感受野的形状更加适合于车辆2D包围盒检测。然后根据感受野的形状,以成像时的透视效应作为先验知识,优化了锚框的生成方式,使得锚框能够更加精确地覆盖真实车辆2D包围盒,减少了无效锚框的数量。最后,在候选区域分类回归阶段,本文根据候选区域的大小和各个特征图的特征步长,对候选区域进行了分配,使得特征图中所包含的信息量更加适用于最后的预测。相比于传统的未经优化的原始方法,本文提出的方法明显地提升了检测精度与检测速度。2.本文在之前车辆2D包围盒检测的基础上提出了一种新的车辆3D包围盒状态估计方法。本文首先利用当前单目视觉像素级深度估计方法生成深度图,通过几何运算方法生成了伪点云数据,并结合当前基于点云数据的方法对车辆进行3D包围盒状态估计。本文还通过伪点云位置数据进行法向量估计,并将其应用到车辆3D包围盒状态估计;实验证明该法向量数据提升了状态估计的性能。此外,本文还进一步提出了专门用于伪点云信号处理的自注意力模块,对伪点云位置信息、法向量信息与RGB信息进行融合,进一步提升了状态估计的性能。3.本文提出了一种基于域随机化的虚拟数据集生成与标注方法,并使用虚拟数据集全部或部分替代真实数据集用于模型训练。通过基于物理的渲染方法,虚拟图像能够获得较高的逼真度。同时本文采用域随机化方法将影响较大的成像因素参数在一定范围内进行随机化处理,以丰富虚拟数据集的变化,避免模型的过拟合现象。真实感虚拟数据与非真实感虚拟数据都被引入以发挥各自不同的优势。为验证本文提出的方法,本文设计了一组以同一车辆2D包围盒检测算法为测试基准的对比实验,结果表明本文提出的虚拟数据集相较于其它虚拟数据集有着明显的性能优势。此外,本文还详细分析了各个成像因素的随机变化对最终检测结果的影响,以及在使用虚拟数据集进行预训练然后采用少量真实数据集进行微调时模型所能达到的性能。4.结合本文提出的车辆3D包围盒状态估计方法与虚拟数据集,本文进一步研究了基于虚拟数据集的3D包围盒状态估计方法。由于源域虚拟数据集与目标真实数据集之间有着明显的域差,使用虚拟数据集训练出的网络模型在实际测试中通常难以获得良好的性能,这个问题在3D包围盒状态估计中尤为突出。本文一方面提出了对原始虚拟数据进行增强处理的方法,使得模型能够学习到可以对抗干扰的特征;另一方面提出了在特征提取阶段进行无监督对抗训练域适应的方法,对齐源域与目标域的特征分布,从而提升了基于虚拟数据集训练模型的性能。整个过程不需要真实数据集的3D包围盒标注。
【学位授予单位】:吉林大学
【学位级别】:博士
【学位授予年份】:2019
【分类号】:TP18;U463.6

手机知网App
【相似文献】
中国期刊全文数据库 前10条
1 孙宏斌,张伯明,相年德;发输配全局状态估计[J];清华大学学报(自然科学版);1999年07期
2 韦巍;蒋静坪;;非线性搅拌釜的自适应状态估计[J];化学反应工程与工艺;1988年01期
3 邱家驹;;分布式状态估计[J];电力系统自动化;1988年06期
4 蔚润义,高为炳;关于线性定常大系统的局部控制与状态估计[J];控制理论与应用;1989年S1期
5 李志鹏;王明雨;万茹;王洋;;电力调度状态估计的实用技术分析与实践探究[J];中国新通信;2019年22期
6 石倩;张叶贵;;配电网抗差状态估计研究综述[J];新型工业化;2019年06期
7 范广民;;提高调控主站系统状态估计合格率的方法研究[J];电工技术;2018年10期
8 孟令愚;侯凯元;丁松;包丹;;电力系统运行状态快变对状态估计影响分析[J];东北电力技术;2019年02期
9 廖利荣;苏小三;刘佳;倪晋;张洲;丁苗;;荆门地调状态估计应用工作探讨[J];通讯世界;2019年07期
10 刘冬;杨镜非;孙毅斌;童开蒙;刘杨;;一种适应含弱环网的配电网过程状态估计算法[J];水电能源科学;2012年01期
中国重要会议论文全文数据库 前10条
1 蔡焱;吴列;;提高电力系统遥测状态估计合格率应用研究[A];2015年江西省电机工程学会年会论文集(《江西电力》2015年11月增刊)[C];2016年
2 夏亚君;黄缙华;顾博川;刘菲;唐升卫;尤毅;;状态估计综合评价方法与评测工具研究[A];2018智能电网新技术发展与应用研讨会论文集[C];2018年
3 刘耀年;郝静;;基于分布式抗差加权最小二乘法的状态估计[A];第十一届全国电工数学学术年会论文集[C];2007年
4 刘顺明;刘耀年;于贺;汤德海;;基于抗差加权最小二乘法的分布式状态估计[A];高效 清洁 安全 电力发展与和谐社会建设——吉林省电机工程学会2008年学术年会论文集[C];2008年
5 黄勇;;一种降低电网风险的状态估计自动巡检系统[A];电力行业信息化优秀论文集2014——2014年全国电力行业两化融合推进会暨全国电力企业信息化大会获奖论文[C];2014年
6 何青;欧阳红林;杨民生;童调生;;基于最优定界椭球的自适应集员状态估计[A];2004全国测控、计量与仪器仪表学术年会论文集(上册)[C];2004年
7 邓自立;许燕;;广义系统非递推状态估计的几种统一算法[A];1998年中国控制会议论文集[C];1998年
8 许燕;邓自立;;广义系统最优递推状态估计[A];1998年中国控制会议论文集[C];1998年
9 杨万波;吕北岳;杨宇星;;交通流连续模型参数辨识及在交通状态估计中的应用[A];2016年中国城市交通规划年会论文集[C];2016年
10 赵海艳;陈虹;马彦;张爱春;;测量输出不确定约束系统的滚动时域状态估计[A];PCC2009—第20届中国过程控制会议论文集[C];2009年
中国重要报纸全文数据库 前2条
1 屈刚;分布式建模状态估计技术达到国际领先水平[N];华东电力报;2012年
2 郭洪敏 包鹏;科技创新领头雁[N];华东电力报;2007年
中国博士学位论文全文数据库 前10条
1 王也;基于深度学习与虚拟数据的车辆识别与状态估计研究[D];吉林大学;2019年
2 张靓靓;基于模糊模型的复杂系统状态估计与滤波方法研究[D];电子科技大学;2019年
3 陈海洋;部分信息缺失下离散时滞非线性系统的H_∞状态估计[D];浙江大学;2018年
4 魏婧雯;储能锂电池系统状态估计与热故障诊断研究[D];中国科学技术大学;2019年
5 荣政;基于单目视觉的MAV状态估计关键问题研究[D];北京理工大学;2017年
6 谭斐;基于扰动状态估计的批间控制器设计与性能评估[D];江苏大学;2018年
7 徐琛;基于噪声分布特性的鲁棒状态估计与监测[D];江南大学;2019年
8 梁栋;配电系统状态估计研究[D];天津大学;2017年
9 刘琳;智能配电网多信息站域保护及状态估计信息应用研究[D];北京交通大学;2017年
10 汪玉洁;动力锂电池的建模、状态估计及管理策略研究[D];中国科学技术大学;2017年
中国硕士学位论文全文数据库 前10条
1 沈亮;网络化Markov跳变系统的状态估计[D];安徽工业大学;2019年
2 刘长晖;分布式电力系统状态估计的设计与研究[D];上海交通大学;2018年
3 殷胜荣;电力系统鲁棒状态估计研究及应用[D];西华大学;2019年
4 周嘉煜;网络量化系统的状态估计研究[D];广东工业大学;2019年
5 周平平;未知模糊隶属函数条件下非线性系统状态估计和故障诊断[D];南京邮电大学;2019年
6 黄沛;主动配电网的抗差状态估计研究[D];广西大学;2019年
7 Musungu Richard Amari(李查德);光伏并网电力系统的状态估计[D];华北电力大学(北京);2019年
8 马鑫;交直流配电网状态估计及日前调度模型研究[D];浙江大学;2019年
9 任星;配电网分布式状态估计研究[D];郑州大学;2019年
10 费亚龙;车载动力电池组全生命周期在线管理与状态估计研究[D];武汉理工大学;2018年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026