基于压缩感知视觉隐私保护框架下的视频行为识别

【摘要】：在计算机视觉研究领域中,包含复杂语义信息的视频行为识别一直是一个具有十分挑战性的研究课题。对于视频行为识别,目前主流的深层神经网络已取得了显著性的进展。然而,随着计算机与互联网技术给人们生活带来方便的同时通过其对信息进行实时的获取与分析使得人们的隐私受到了一定程度的威胁,其中以视频和图像中的个人隐私信息为主。其次,对于某些特殊的应用场合(如居家环境)人们也希望监控的视频内容能够保密,以免被泄露造成不必要的损失。然而,现有的一些视频行为识别框架可能无法很好地在隐私保护和识别精度之间达到权衡。因此,针对视觉隐私保护的视频行为识别的研究具有重要意义与应用价值。为了解决视觉隐私保护下的视频行为识别问题,同时考虑到系统运行的实时性问题,本文研究的初衷是希望在视觉隐私保护、识别精度和运行效率三者之间能够取得平衡,设计出一种具有隐私保护优势的高效精确的视频行为识别监控系统。因此,本文提出了一种基于压缩感知(Compressed Sensing,CS)视觉隐私保护框架下的视频行为识别的方法,其主要包含以下三个关键步骤。(1)视觉屏蔽CS(Visual Shielding CS,VSCS)编码。本文首先利用CS理论的优势,针对于隐私保护问题从而提出了VSCS的方法,对视频行为进行多层的CS降维处理,使得处理的数据量大大降低的同时也实现了视觉屏蔽。此时肉眼已无法辨识视频内容,达到了隐私保护的效果。其次,为了提高后续的识别效果,通过一系列的实验选择了适合本文需求的观测矩阵和降维层数。(2)VSCS态视频行为序列表征。为了提高系统运行的效率,本文利用3D卷积神经网络(Convolutional 3D,C3D)模型的速度优势对压缩态下的视频行为特征进行高效表征。由于输入的是VSCS态视频,因此本文首先对输入视频进行了预处理,其次对于现有的C3D结构进行了细微改变并将改进后的模型进行了重新训练,最后利用主成分分析技术对提取的特征向量进行降维处理,以降低系统运行的时间复杂度。(3)VSCS态Ad SRC视频行为识别。对于输入的具有视觉隐私保护的VSCS态视频,为了提高识别性能,本文利用了基于稀疏表示的分类器(Sparse Representation based Classification,SRC)对于视觉降质的人脸图像的鲁棒性优势以及Ada Boost集成分类的思想,将二者进行有效结合,提出了新的识别算法Ad SRC。该算法弥补了SRC对于复杂场景下识别的缺陷,为了验证所提算法的有效性,在三个常见的主流视频行为数据集进行了实验。结果表明,所提方法在视频行为识别中具有很强的鲁棒性,并且具有视觉隐私保护的优势。