基于深度学习的驾驶员视觉疲劳检测研究

【摘要】：根据道路安全部门的有关统计,近年来疲劳驾驶对道路安全行车的威胁越来越大,每年约有20%的交通事故是由疲劳驾驶造成,疲劳驾驶已成为威胁交通安全的重要因素之一。因此研究设计一款对驾驶员疲劳状态实时检测的系统,在驾驶员出现疲劳特征时,能够提供及时、准确的警报,可有效地预防交通事故的发生。本文提出一种基于视觉特征的驾驶员疲劳检测方法。为提升夜间识别效果,本文使用高清夜视摄像头实时获取驾驶员人脸图像。为消除光照不均匀对后续算法的影响,本文首先对输入图像进行增强和滤波处理;接着采用多任务卷积神经网络算法实现人脸检测;确定人脸位置后,为消除较大遮挡、姿态变化对特征点定位的影响,本文提出一种投影映射的初始化方法,再利用多视角级联回归算法实现人脸特征点定位;然后在人脸特征点定位的基础上截取眼睛区域,实现人眼精确定位,并将眼睛区域图像送入轻量级的人眼状态识别网络对人眼状态进行判别;最后根据眼睛闭合持续时间和一段时间内眼睛闭合时间所占的比例(Percrntage of Eyelid Closure Over the Pupil Over Time,PERCLOS)判别驾驶员的疲劳状态,若该比值超过设置的阈值,则语音报警,并在TFT液晶屏上显示报警信息。在硬件设计上,针对系统中运算数据量大、数据读取传输速度快、算法复杂等实际需求,本文选用工业级处理芯片NT96687作为硬件系统的核心处理器。该系统主要由视频采集模块、NT96687核心处理器、图像显示模块和语音报警模块组成。本文为保证系统检测的实时性,不仅完成了算法的移植工作,还通过XM4的指令集和并行加速技术对算法进行了优化。最后经NT96687实验平台验证表明,该系统无论在白天还是夜间均可准确地识别人眼状态,并有效地检测驾驶员的疲劳状态,不仅具有较高的检测准确性和可靠性、非接触式、低功耗等特点,还能够满足车载实时性的应用要求,具有一定的实用价值。