面向数据不规则分布的深度特征学习研究

【摘要】：图像是人类获取信息的直接来源。随着互联网、移动智能设备和社交媒体等技术的迅猛发展,人们可以轻松地获取到大量的图像资源,与单一的小规模学术集不同,人们实际获取的大规模数据往往呈现出多模态,不均衡的分布,甚至是无标签的。本文将这类分布统一称为数据的不规则分布。数据的不规则分布问题广泛存在于学术研究以及实际生活中,尤其是随着近些年深度学习的迅速发展,为图像特征学习提供了强有力的研究途径,获得了计算机视觉等相关研究领域的高度关注,被广泛应用于学术界以及工业界。结合以上两点,针对数据不规则分布的深度特征学习具有显著的理论研究价值和强烈的实际应用需求,本文展开研究了数据不规则分布常见的三个问题,即数据呈现长尾分布问题,数据呈现多模态分布问题,以及训练域和测试域分布不对齐的问题。1)针对长尾分布问题,本文提出了两种方法:可学习的尾部数据扩充方法,Feature Cloud;基于模型抖动信息的的尾部数据扩充方法,MBJ。本文提出将头部类丰富的类内多样性迁移至尾部类来缓解尾部类类内多样性不足的问题。具体地,在特征空间中扩充尾部类的分布,使其具有与头部类相似范围的分布。将一个尾部特征向量替换为一簇特征向量,称之为Feature Cloud。实验结果显示,Feature Cloud在长尾表征学习以及分类学习任务上获得了国际领先水平的性能表现。本文提出利用历史模型之间的抖动信息来丰富尾部数据的多样性。模型在每次迭代后,参数会不断发生变化,产生权重向量的抖动(weight jitter),对应地,给定一张图像,两个历史模型产生的特征向量也是不同的,即会产生特征向量的抖动(feature jitter)。本文认为这些抖动信息为尾部数据的扩充提供了可靠的信息,为此,本文利用存储器将这些抖动信息进行收集,来为尾部数据提供额外的样本多样性。实验结果显示MBJ在长尾表征学习以及分类学习任务上获得了国际领先水平的性能表现。2)针对多模态分布问题,本文提出了一种利用存储器做增强的单方向度量学习方法,称为MAUM。方法包含两部分:单方向度量学习和基于存储器的增强方法。MAUM首先学习多个模态下的专属类代理,接下来利用模态专属类代理去拉近它对立模态的特征向量。进而,本文将由于模型漂移现象产生的多个模态专属类代理进行存储来增加它们的多样性,这为单方向度量学习提供了额外的困难正样本。实验结果表明,MAUM不仅在模态衡均衡情况下获得了国际领先水平的性能表现,在模态不均衡问题上也获得了额外的鲁棒性。3)针对训练域和测试域分布不对齐的问题,本文提出了一种多域图像风格迁移的无监督域适应方法,称为IPGAN。IPGAN首先将源域的图像风格转换为多个目标子域的图像风格以此来减少它们之间的分布差异,并且保证转换后的图像具有与原始图像一致的身份信息。接下来利用风格转换后,具有标注信息的源域数据训练模型并将其应用到目标域中进行测试。实验结果表明IPGAN获得了非常具有竞争力的性能表现。