基于图神经网络的图像重建方法研究

【摘要】：图像重建任务中的碎片重组难题是计算机视觉和计算几何领域的一个经典问题,其目的是从被撕碎且打乱的碎片中重建图像或文档。与此相关,考古学家、法医、刑侦、情报人员经常面临的从零散的视觉数据中恢复原始信息的任务,例如从打乱的图像片段中重建书法拓本、绘画和关键证据等。然而,由于碎片数量过于庞大,这一问题对人类来说既繁琐又费时。为了将相关工作人员从复杂的重建任务中拯救出来,研究一种利用计算机自动解决该问题的方法至关重要。针对碎片图像进行特征提取和基于提取到的特征进行碎片匹配是该任务需要解决的两个核心问题。近年来,深层神经网络在许多图像分类和识别任务中取得了很大的进展。卷积神经网络和循环神经网络都在这一领域发挥着重要作用。与传统的图像描述子相比,深度学习方法具有更强的特征提取能力。因此,我们将重点放在深层神经网络上,并尝试将其应用于碎片重组的图像重建任务中。本研究提出了一种基于生成图策略的碎片图像重组算法。首先将碎片重组问题转化为生成图问题。生成图的邻接矩阵可以代表片段之间的相邻关系。此处没有使用手工设计的描述子从数据中直接提取特征,而是针对此问题设计了一种数据预处理方法和卷积神经网络来捕捉碎片图像的主要信息。该模块可以学习训练数据的分布情况,并能准确地描述碎片的内容以生成图片特征。为了更好地利用该特征,还设计了一个由两个循环神经网络组成的分类器。它可以根据当前生成图的整体情况和碎片特征迭代地填充邻接矩阵的列元素。模型的最终输出的是一个完整的邻接矩阵,它可以表示碎片重组问题中的成对匹配。最后一步是根据算法的预测结果完成碎片图像的重组。本实验中提出的模型在公共数据集上进行验证,并将该模型与几种经典描述子和该领域最新成果进行了比较。实验结果表明,该模型拥有学习碎片成对匹配信息的能力,并能够在较低的时间复杂度下进行精确的预测,同时模型对于各种特殊情况也有一定的鲁棒性。