基于高斯分布的正交分解分类损失函数的研究

【摘要】：近年来,深度神经网络取得了突破性的进展,如今在生活中的各个领域都得到了广泛的应用,比如图像分类识别、人脸识别、语音识别等。随着对网络结构和损失函数的不断优化,深度神经网络显著的改善了各种复杂的分类任务的性能。损失函数是深度学习中不可或缺的一部分,而对于不同的任务,有各种各样的损失函数,如MSE,BCE等。关于损失函数的性能有很多研究。一个好的损失函数理论上应该能够使得数据集中相同类别的特征的分布更加紧凑,不同类别的特征的分布更加分离。本文提出了一种新的用于分类任务的损失函数,即基于高斯分布的正交分解损失函数。Center loss、contrastive loss等大多数现有方法会在训练过程中动态确定样本特征的收敛方向。相比之下,基于高斯分布的正交分解损失函数将收敛方向分解为两个相互正交的分量,即切向方向和径向方向,并对它们分别进行优化。从理论上讲,这两个组件分别影响样本特征分布的类间分离性和类内紧凑性。因此,分别最小化它们的损失可以避免在优化过程中彼此间的影响从而获得更稳定的收敛中心。此外,本文假设这两个分量都遵循高斯分布,高斯分布已经被证明是通过准确为训练特征建模,从而提高分类效果的有效方式。MNIST,CIFAR和Image Net等多个分类实验证明了基于高斯分布的正交分解损失函数的有效性。本文的研究工作主要从以下五个方面展开:(1)本文提出了一个新的优化思想,该优化思想从收敛方向的角度考虑优化问题。(2)本文分解了收敛方向,将其正交分解为径向方向和切向方向两个部分,并且分别对它们进行优化。(3)本文解耦了提取的特征的方向和模长,从而避免了在优化过程中,这两者产生的相互影响。(4)本文使用被提取的特征的方向和模长,来分别规划特征分布的类间分离性和类内紧凑性。(5)本文使用高斯分布来指导被提取的特征在方向和模长上的优化过程。