面向自然场景的端对端英文文字识别研究

【摘要】：随着移动互联网的飞速发展及智能手机等移动电子设备的普及,自然场景图像的获取和传输变得越来越便捷。自然场景图像中的文本包含了丰富的信息,人们期待计算机能代替人类自动地检测并提取图像的文本信息。与传统的光学字符识别不同,自然场景中的文本信息提取面临着字体多变、布局不一、背景复杂等问题。近年来,面向自然场景的文本识别研究虽然取得了一定的成果,但是与实际应用的要求还存在较大的差距。因此,面向自然场景的端对端英文文字识别方法的研究不仅具有重要的理论研究意义,而且具有广阔的应用前景。 本文旨在从自然场景图像中提取精确文本位置和正确的文本信息,并构建一个端对端的场景文本识别系统。针对现有研究方法中字符图像特征表示能力不足及过分依赖复杂模型等问题,本文主要开展以下三方面的研究：(1)自然场景中字符的无监督特征提取及其分层表示；(2)自然场景中的文本定位：(3)自然场景中端对端的文字识别系统的框架。本文的主要贡献如下： 1.提出了基于卷积神经网络的无监督特征分层表示算法。我们先利用改进的K-means聚类方法从训练数据中获得基向量,再结合卷积神经网络提取字符图像的特征。 2.提出了由字符到字符串,再到单词的文本分层定位框架。采用最大稳定极值区域(MSER)算法提取字符候选区域。根据字符的空间布局等特征对多层特征过滤后的字符候选区域进行融合。设计了字符串的结构特征,进一步提高文本检测的准确率。 3.设计了端对端的场景文字识别算法框架,实现了实验演示系统。我们把文本检测与字符识别模块进行整合,并设计了基于词典的识别矫正方法。实验结果验证了所提文本识别方法的有效性。