基于模型梯度信息的深度网络压缩方法研究

【摘要】：现如今,卷积神经网络在图像分类、语义分割、目标检测等计算机视觉的各个领域中掀起了研究热潮,而且取得了重大成功。随着卷积神经网络的研究发展,模型的参数规模越来越膨胀,它的计算代价也越来越大。因此,过参数化的深度模型难以在硬件资源受限的环境(比如嵌入式传感器、无人机、移动设备、自动化机器人等)中实际部署工作。研究人员提出了网络剪枝技术来减少模型的参数量和计算量,能够对深度网络进行压缩和加速。针对深度卷积神经网络的剪枝问题,本文提出两种利用梯度信息与参数信息的结构化剪枝算法。本文的主要工作与贡献如下:1.针对卷积神经网络的模型压缩问题,本文提出一种基于梯度追踪的结构化剪枝方法,将梯度追踪的稀疏优化算法的原理推广到卷积神经网络。在以往的工作中,一些结构化剪枝方法仅仅关注神经网络的参数信息,需要将参数权值小的滤波器剪去。然而,即使一些滤波器参数权值很小,但其参数变化对神经网络结果会产生较大的影响。为此,基于梯度追踪的结构化剪枝方法考虑参数信息和梯度信息,希望能有效地剪除卷积神经网络的冗余参数。该剪枝方法首先在优化步骤中选择梯度最大的滤波器,将其索引与参数幅值最大的滤波器索引合并,形成一个并集。其后,根据上述并集更新模型参数。然后,使用一种动态的滤波器选择方法,将范数值较小的滤波器权重置零。在迭代结束后,该方法可以获得剪枝后的神经网络。本文实验证明了该剪枝方法的有效性。例如,在CIFAR-10数据集上对ResNet-56的剪枝实验中,在FLOPs减少量同样为52.63%的情况下,剪枝后网络的准确率仅仅下降了0.04%,而且不需要微调步骤。最后结论是,基于梯度追踪的结构化剪枝方法能够在保持网络精度的同时,更好地压缩深度卷积神经网络。2.上述工作使用梯度的范数来测量神经网络的梯度信息。而本文质疑了基于范数的剪枝准则,利用梯度的余弦相似度作为评估滤波器重要性的准则。对此,本文提出基于梯度相似度的结构化剪枝方法。具体地来说,对于预训练网络,本文计算梯度的余弦相似度来评估滤波器的重要性。然后,裁剪那些被评估为不重要的滤波器,最后微调剪枝后的神经网络。另外,针对卷积神经网络的结构化剪枝问题,本文建议将基于梯度相似度的结构化剪枝方法与参数范数准则相结合,提出了混合剪枝方法。混合剪枝方法除了利用参数信息和梯度信息以外,还考虑了相似度信息。在CIFAR-10数据集上对于ResNet-56的实验中,当FLOPs下降了52.63%时,上述混合剪枝方法的精度提高了0.35%。这验证了使用本文剪枝方法能够提升网络的性能。