三维光场显示实时编码与渲染方法研究

【摘要】：实时的显示系统在人们的生产和生活中扮演着重要的角色,它能为人们提供动态的、可交互的画面。新兴的三维(Three Dimensional,3D)光场显示技术不需要额外的助视设备就能提供更加符合人们观看体验的多视角信息,显著增强了人们对场景的体验和理解。因此,它作为未来最有潜力的一种显示方式而被国内外研究机构广泛关注。与显示技术相呼应的是渲染技术,快速、高质量的渲染能提供接近物理真实的场景画面,大大扩展了显示系统的应用。3D光场显示和平面显示的成像机理不同,平面显示的渲染方法在3D光场渲染上并不适用。传统的3D光场渲染方法采用先逐视点渲染,再光场编码的策略,这种方法存在复杂度高、冗余大的问题。针对具有超多视点的3D光场显示,它无法实现快速生成高质量的光场图像。此外,高分辨率、大视角的3D光场显示系统能为人们提供更好的沉浸感和最佳的观看体验。然而,增大视角势必要渲染更多的视点;提高分辨率会增加每一个视点需要渲染的内容,因此渲染时间也会增加。针对3D光场实时渲染效率和显示质量的提升,本文对快速光场编码与渲染的方法进行了研究。论文的主要研究内容和创新点如下:研究要点1:基于体渲染的实时3D光场显示技术。为了在3D光场上实时显示体数据信息,提出了一种适用于3D光场实时显示的体渲染管线。它能在采集前完成光场编码,并根据编码的结果对采样光线进行错切变换,用于计算每个像素编码后的视点。最后从视点出发投射光线用于计算每个像素的颜色。此管线能在3D光场显示设备上显示具有高质量的体数据。整个过程都是在图形处理器(Graphics Processing Unit,GPU)上并行完成的,没有任何冗余。在4K(3840×2160)分辨率像素级多视点合成图像的渲染帧率超过60fps,子像素级渲染超过30fps。研究要点2:基于光栅化的拼接型、超高分辨率光场实时编码与渲染技术。为了实现超大尺寸的3D光场实时渲染与显示,基于多屏拼接工艺构建具有超高分辨率、超大尺寸的3D光场显示系统;实现了一套实时的超大尺寸和超高分辨率的分布式3D光场渲染方案。渲染平台由一台主机驱动若干台从机组成,用于实现分布式3D光场的实时编码与渲染。主机和从机之间使用用户数据报协议(User Datagram Protocol,UDP)协议组网,主机负责控制信号的打包与发送、从机运行状态的实时监控和文件的实时同步传输。从机负责接收和解析来自主机的控制信号并根据控制信号对光场显示系统进行调试和实时光场动画的渲染与显示。每台从机采用基于光栅化的多视点渲染方案,只渲染它所驱动的光场子单元的多视点合成图像。为了处理多屏之间的拼缝,对输出图像拼缝区域的像素使用纹理后处理,保证了 3D图像的连续性。最终该方法实现了由15块8K(7680×4320)以3×5方式排列具有23040×21600分辨率的拼接型、超高分辨率3D光场实时渲染与显示系统。实时渲染帧率超40fps,网络和渲染时延稳定在30ms,保证了用户的交互体验。研究要点3:基于物理渲染和RCNNs去噪的超高质量光场实时编码和生成方法。为了生成高质量、具有物理光照特征的3D图像,在实时3D光场渲染时使用了基于物理的光照计算,在GPU中进行光线路径追踪并对追踪的结果使用蒙特卡洛方法进行积分。首先分析3D光场显示的成像过程,然后根据成像光线传播的逆过程对多视点合成图像进行光场编码,将每一个像素编码到特定的视点。然后从视点出发,朝向屏幕像素方向发射定向光线,定向光线依据碰撞点的材质沿着真实过程中光线的传播的逆过程进行递归,用于计算光照辐射度。在4K分辨率、采样率为2spp的蜂窝型透镜排布的集成成像3D光场显示上进行验证,渲染一帧耗用的时间小于30ms,实现了极高质量、无冗余和超多视点的3D光场实时编码与渲染。在实时渲染时,采样率不足会导致渲染方程不收敛,在输出3D图像上表现为噪声,严重影响观看体验。为了实现快速生成高质量的3D光场内容,使用基于预训练的递归卷积神经网络(Recurrent Convolutional Neural Networks,RCNNs)的去噪滤波器来滤除这些噪声。每次蒙特卡洛积分的结果,反照度,法线和材质作为RCNNs网络的输入来构建去噪滤波器的结构参数并对输入的带噪声的图像进行滤波。经过不断的采样、积分和去噪,可以在很短的时间内生成具有极高质量的3D光场图像。在10帧内,SSIM增益大于0.15,PSNR增益超过了 10dB,表明了去噪滤波器能有效滤除输出图像中的噪声,大大加快了高质量3D图像的生成速度。