基于多模态融合的手写认证方法研究

【摘要】：随着信息技术的不断进步,在网络空间环境建设中,信息泄露事件屡屡发生,为人们的信息安全建立一个强有力的保护屏障很重要,对身份认证信息的保护也是不可忽视的。本文从融合多模态手写特征和减轻手写内容影响两个方面对基于手写行为特征的身份认证技术进行分析研究,有效抵御手写认证中的熟练伪造攻击,并结合实际应用需求提升手写认证系统的性能与安全性,从而保护用户身份认证信息与网络应用空间的安全。目前的手写认证研究仍存在一些问题与限制,如单一模态无法充分表征写者手写行为过程的诸多特性,以及以签名为手写内容的传统认证容易被伪造者获知签名内容并捏造等,针对这些问题,本文提出相应的解决方案并进行分析研究,论文的主要研究内容和贡献如下:1.提出了一种动静态手写特征融合模型。本文针对静态手写和动态手写两种单模态手写认证的局限性,提出将两种模态手写特征融合提升手写认证系统性能的方案。本文以卷积神经网络为模型基本框架,考虑到动静态手写的位置相关性和时序相关性,从数据层面、网络模型不同维度特征空间和高维嵌入式特征三个方面设计动静态手写特征融合方案。此外,本文引入成功应用于人脸识别研究的Arcface损失函数,用以增强类间的差异性,进一步提升网络模型的性能。根据在公开数据集及自采集数据集上的实验结果,本文提出的方案被验证可以有效提升手写认证系统的性能。2.提出了一种独立于内容的手写认证方法。在实际应用环境下,身份认证的准确性至关重要,同时,攻击者也会通过复制、重放攻击等方式获取身份认证信息,从而冒充合法用户访问应用环境,危害网络空间的安全,因此保护身份认证信息也是至关重要的。本文从以上问题出发,设计了一种独立于文本内容的手写笔迹风格特征提取模型,从数据增强、风格注意力机制和损失函数构造三个角度设计削弱手写内容影响的方案,使得手写特征提取模型将注意力放在与手写内容无关的手写笔迹风格特征上,从而实现将不易被获取并模仿的手写风格作为鉴别真伪手写的主要依据。通过在公开数据集和自采集数据集上的相关对比实验,本文验证了提出的方案的可行性和准确性。