面向视障人群的计算视觉辅助系统

【摘要】：据不完全统计,全球范围内大约有3亿4千2百万人受视力受损的困扰,包括因衰老、眼疾和先天等因素引起的视力障碍。盲人和低视力更是我国公共卫生的重点问题之一,关注和提高视障人群的生活质量不仅是科研工作者的重要研究方向,更是一项造福人类的公益活动。科技发展到今天,主流设备和软件制造商已经为视觉障碍人群提供了大量的产品,但大多功能单一,使用环境有限。随着计算机视觉的迅速发展,使用计算机视觉来增强人眼对现实世界物体的感知,提取感兴趣的目标进而完成目标识别任务的计算视觉辅助技术渐渐成为当今视觉领域的一个研究热点。本课题主要结合当前流行的可穿戴智能设备,通过对图像处理、增强现实和机器学习等热门技术的学习和研究,设计并实现帮助视觉障碍人群学习和生活的计算视觉辅助系统。本系统采用便携式可穿戴智能眼镜的设计原理,使用摄像头、Android处理器和LCD显示器在硬件上设计并校准了现实增强显示系统,并对目标的识别进行了深入的研究,结合角点检测与匹配的原理,使用Harris角点特征来改进FAST角点检测算法,并提出了自适应阈值的多尺度AGAST角点检测算法,根据人眼视觉特性改进FREAK描述算子的采样结构来提高其在低内存移动设备上的运行效率,最后结合增强现实显示系统和角点检测与识别算法实现了能够智能阅读人民日报和识别药品的可穿戴计算视觉辅助系统。本文主要有以下几个创新点:1、通过研究可穿戴设备设计原理和现实增强技术,根据人眼视觉特性和摄像头成像原理,设计了基于光学透视和视频融合的可穿戴显示系统,并通过摄像机成像和标定原理实现了显示系统的配准,完成了虚拟图像和现实图像无缝叠加。2、研究了图像局部不变特征检测算法的基本原理,结合尺度空间理论,使用多尺度Harris特征来改进FAST检测算法,为了提高算法在低内存和计算能力较弱的移动设备上的角点检测效率,本文在AGAST角点检测算法的基础上提出自适应阈值的多尺度AGAST算法,实验表明改进后的AGAST算法在运行速率和检测效率上较Harris角点检测和FAST检测算法都有很大幅度的提高。3、研究了图像局部特征的两种描述方式:浮点型描述子和二进制描述子。本系统采用低内存移动设备上更加高效的FREAK描述算子,并根据人眼视觉特性,在FREAK算子的基础上优化采样模型,降低算法内存消耗,提高算法在移动设备上的运行速率和准确率,最后结合自适应阈值的多尺度AGAST角点检测算法计算汉明距离来完成图片的匹配。在Mikolajczyk图像数据库上对ORB、BRISK、FREAK和改进后的算法进行性能比较和分析,实验结果表明,改进后的检测与描述算法在尺度变化、旋转变化、模糊变化、光照变化和压缩变化等条件下都有较强的稳定性和鲁棒性。4、结合增强现实的显示系统和基于角点检测与匹配的识别算法,在硬件和软件两个层面完成计算视觉辅助系统的设计。通过引入开源的文字识别引擎Tesseract和讯飞语音识别SDK,在Android平台上设计并实现了基于角点检测与匹配的图片识别算法,完成了能够智能阅读人民日报和识别药品的可穿戴智能眼镜。最后在光照较暗、图片旋转和部分遮挡的环境下对系统的识别速率和效率进行分析,实验表明本系统能够在移动设备上实时处理视频,在光照差异、图像旋转和部分遮挡等条件下具有较强的鲁棒性和稳定性。