基于脉冲神经网络的单目标视频跟踪研究

【摘要】：脉冲神经网络受生物学信息处理方式的启发,通过稀疏的异步二元信号交流,并以大规模并行的方式处理,从而在神经形态硬件上展现出了良好的性能,例如低功耗、计算效率高、资源占用少等。另一方面,目标跟踪作为重要的计算机视觉任务,具有广泛的现实世界应用,例如人机交互、自动驾驶、机器人、基于运动的识别和安防等等。为了解决各种挑战实现更好的跟踪效果,目标跟踪模型设计的愈发复杂,导致计算量的陡增,模型占用大量资源,以及对加速框架的依赖越来越严重等问题,使得这些算法无法移植到边缘设备或神经形态的硬件。因此若能将脉冲神经网络应用到目标跟踪任务上,有助于目标跟踪模型的大规模现实应用。但目前脉冲神经网络的训练算法还不够成熟,无法通过训练实现稳定且高性能的脉冲跟踪模型。由此,本文对人工神经网络和脉冲神经网络的转换方法进行研究,将脉冲神经网络应用于目标跟踪任务。对于模型转换涉及的关键技术,例如图像编码、参数迁移等,构造基于脉冲的手写数字识别算法进行验证与对比分析。通过识别模型的调整、识别模型的再训练、参数迁移、权重正则化等过程,最终构造的脉冲分类模型能在手写数字识别任务中达到94.09%的准确率,一定程度上表明转换方法的有效性。基于全卷积孪生网络,分别构造以Alex Net、VGG11和VGG16作为卷积嵌入模块的跟踪模型并进行测试,实验结果表明基于VGG11的跟踪模型不仅取得了比基准Alex Net更好的性能,模型的大小还减少了一半以上。最后根据模型转换的方法构造了Spiking-Siam FC模型用于跟踪,虽然相对于原始的全卷积孪生网络各项指标有一定的下降,但脉冲模型在达到一定跟踪效果的同时具备了资源占用小、计算效率高、功耗低等特性。因此脉冲模型更加有望移植到人工智能芯片或神经形态硬件等边缘设备上,本文的研究也为脉冲神经网络未来广泛的应用和推广提供了一定的参考,具有较强的实用价值。