基于深度学习的无参图像质量评估

【摘要】：随着互联网技术的不断发展,网络中存在着大量以图像为主体的多媒体资源。对图像的质量进行准确地预测对于信息传播的效率尤为重要。基于深度学习的无参图像质量评估(No-reference Image Quality Assessment,NR-IQA)最近吸引了研究者们较多的关注,特别是卷积神经网络(Convolutional Neural Network,CNN)在NR-IQA上的应用使得预测的准确率取得了很大的提升,但其中依然存在一些可以改进的地方。本文提出了两种基于CNN的NR-IQA方法。对于这些方法的研究一方面可以推动图像质量评估领域的发展,另一方面,可以让我们更好地掌握CNN在计算机视觉领域的应用,并不断地改善网络。本文首先介绍了该研究的背景及研究意义,接着从机器学习与深度学习、图像处理和图像质量评估三方面作理论基础的简介。后面则提出了两种新的基于深度学习的无参图像质量评估的方法。在第一种方法中,我们提出了基于质量区分和区域加权的方法(QDRW-CNN)。通过所提出的两个机制:质量区分算法和区域回归,预测的准确率得到了提高。质量区分算法使用数据库的不同子集训练出多个模型,接着根据被测图像的质量级别选择合适的模型来预测图像的质量评分。而区域回归将图像划分成不同的区域,并给它们赋予不同的权重来计算图像最终的质量评分。除此之外,我们还使用了一种新的基于每个小块的视觉重要性的小块采样的方式来提高网络训练的效率。在第二种方法中,由于CNN的性能依赖于大量的训练样本,而现存的、广泛使用的图像数据库不能提供足够的样本给CNN训练,因此,我们提出了基于块对比较(Pair-comparing)的方法(PC-CNN)。通过在训练过程中,将参考图像考虑进去,我们使用失真图像和参考图像的不同组合生成了更多的由块对组成的训练样本。同时,我们提出了一种新的CNN网络,它拥有两个输入和两个输出,输入的是一个块对,而输出的是两个小块的评分。我们在不同的数据库上进行单数据库的实验以及交叉数据库的实验,并和其它现存的很多较好的方法相比,实验结果显示我们的两种方法在预测的准确率上均取得了更好的效果。