基于深度点云卷积神经网络DPCNet的三维场景分割

【摘要】：本文针对基于深度学习的三维场景分割问题,充分学习了三维重构算法的相关技术和理论知识,深入研究了卷积神经网络及点云深度学习网络PointNet/PointNet++的工作原理和优势,同时,归纳出直接作用于点云数据深度学习网络的不足和缺陷,并在此基础上提出了二维图像数据特征与三维点云数据特征融合的改进方案。经本文改进后的模型,对重构场景进行精细的语义分割,实现了三维物体识别。本文所做具体工作如下:1.利用基于Kinect深度摄像机的RGB-D SLAM算法进行场景三维立体重构。首先依据深度摄像机的原理,获取场景的色彩信息和深度信息,并通过对深度摄像机拍摄的每一帧样本信息进行特征提取和匹配,然后使用ORB算法进行特征点的提取与配准,应用PnP(Perspective-n-Point)方法进行摄像机的位姿估计,并利用位姿图优化的方法进行后端优化处理,最后采用BoW(Bag-of-Words)词袋模型进行回环检测,得到了三维场景点云重构图。2.针对深度学习和图像分割技术进行研究和分析,解决了三维场景下的语义分割与物体识别。本文通过深度学习算法直接对三维点云数据进行处理,在PointNet++网络模型的基础上提出了改进型网络模型深度点云卷积网络(Deep Pointcloud Convolution Network,DPCNet)。应用所提出的DPCNet进行训练的过程中,针对二维CNN提取的图像特征与三维点云特征进行融合,增强了物体点云相邻数据之间的匹配性,提升了网络模型的准确率和语义分割的精准度,较好的实现了三维场景内的物体识别。基于上述工作,本文完成了三维场景重构实验环境的配置和深度学习TensorFlow框架中的配置,并分别用PointNet++和DPCNet进行三维场景的语义分割对比,其结果表明本文所改进的网络模型在语义分割方面具有较高的识别率。经公开数据集测试验证,本文所研究的三维场景重构下的语义分割与物体识别具有一定理论价值和较高的可行性。