收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

三维光场显示实时编码与渲染方法研究

李远航  
【摘要】:实时的显示系统在人们的生产和生活中扮演着重要的角色,它能为人们提供动态的、可交互的画面。新兴的三维(Three Dimensional,3D)光场显示技术不需要额外的助视设备就能提供更加符合人们观看体验的多视角信息,显著增强了人们对场景的体验和理解。因此,它作为未来最有潜力的一种显示方式而被国内外研究机构广泛关注。与显示技术相呼应的是渲染技术,快速、高质量的渲染能提供接近物理真实的场景画面,大大扩展了显示系统的应用。3D光场显示和平面显示的成像机理不同,平面显示的渲染方法在3D光场渲染上并不适用。传统的3D光场渲染方法采用先逐视点渲染,再光场编码的策略,这种方法存在复杂度高、冗余大的问题。针对具有超多视点的3D光场显示,它无法实现快速生成高质量的光场图像。此外,高分辨率、大视角的3D光场显示系统能为人们提供更好的沉浸感和最佳的观看体验。然而,增大视角势必要渲染更多的视点;提高分辨率会增加每一个视点需要渲染的内容,因此渲染时间也会增加。针对3D光场实时渲染效率和显示质量的提升,本文对快速光场编码与渲染的方法进行了研究。论文的主要研究内容和创新点如下:研究要点1:基于体渲染的实时3D光场显示技术。为了在3D光场上实时显示体数据信息,提出了一种适用于3D光场实时显示的体渲染管线。它能在采集前完成光场编码,并根据编码的结果对采样光线进行错切变换,用于计算每个像素编码后的视点。最后从视点出发投射光线用于计算每个像素的颜色。此管线能在3D光场显示设备上显示具有高质量的体数据。整个过程都是在图形处理器(Graphics Processing Unit,GPU)上并行完成的,没有任何冗余。在4K(3840×2160)分辨率像素级多视点合成图像的渲染帧率超过60fps,子像素级渲染超过30fps。研究要点2:基于光栅化的拼接型、超高分辨率光场实时编码与渲染技术。为了实现超大尺寸的3D光场实时渲染与显示,基于多屏拼接工艺构建具有超高分辨率、超大尺寸的3D光场显示系统;实现了一套实时的超大尺寸和超高分辨率的分布式3D光场渲染方案。渲染平台由一台主机驱动若干台从机组成,用于实现分布式3D光场的实时编码与渲染。主机和从机之间使用用户数据报协议(User Datagram Protocol,UDP)协议组网,主机负责控制信号的打包与发送、从机运行状态的实时监控和文件的实时同步传输。从机负责接收和解析来自主机的控制信号并根据控制信号对光场显示系统进行调试和实时光场动画的渲染与显示。每台从机采用基于光栅化的多视点渲染方案,只渲染它所驱动的光场子单元的多视点合成图像。为了处理多屏之间的拼缝,对输出图像拼缝区域的像素使用纹理后处理,保证了 3D图像的连续性。最终该方法实现了由15块8K(7680×4320)以3×5方式排列具有23040×21600分辨率的拼接型、超高分辨率3D光场实时渲染与显示系统。实时渲染帧率超40fps,网络和渲染时延稳定在30ms,保证了用户的交互体验。研究要点3:基于物理渲染和RCNNs去噪的超高质量光场实时编码和生成方法。为了生成高质量、具有物理光照特征的3D图像,在实时3D光场渲染时使用了基于物理的光照计算,在GPU中进行光线路径追踪并对追踪的结果使用蒙特卡洛方法进行积分。首先分析3D光场显示的成像过程,然后根据成像光线传播的逆过程对多视点合成图像进行光场编码,将每一个像素编码到特定的视点。然后从视点出发,朝向屏幕像素方向发射定向光线,定向光线依据碰撞点的材质沿着真实过程中光线的传播的逆过程进行递归,用于计算光照辐射度。在4K分辨率、采样率为2spp的蜂窝型透镜排布的集成成像3D光场显示上进行验证,渲染一帧耗用的时间小于30ms,实现了极高质量、无冗余和超多视点的3D光场实时编码与渲染。在实时渲染时,采样率不足会导致渲染方程不收敛,在输出3D图像上表现为噪声,严重影响观看体验。为了实现快速生成高质量的3D光场内容,使用基于预训练的递归卷积神经网络(Recurrent Convolutional Neural Networks,RCNNs)的去噪滤波器来滤除这些噪声。每次蒙特卡洛积分的结果,反照度,法线和材质作为RCNNs网络的输入来构建去噪滤波器的结构参数并对输入的带噪声的图像进行滤波。经过不断的采样、积分和去噪,可以在很短的时间内生成具有极高质量的3D光场图像。在10帧内,SSIM增益大于0.15,PSNR增益超过了 10dB,表明了去噪滤波器能有效滤除输出图像中的噪声,大大加快了高质量3D图像的生成速度。


知网文化
【相似文献】
中国期刊全文数据库 前10条
1 王钰;李晓荣;高少华;杨东浩;王佳艺;崔慧林;Chemingui M;张心正;许京军;;区域液晶面外定向技术及其在光场调控中的应用[J];量子电子学报;2021年01期
2 赵亮;岑松原;;基于非成像数字光场理论设计的一种节能型壁挂式植物生长灯[J];照明工程学报;2021年02期
3 颜士玲;朱学艺;王洪飞;解碧野;张秀娟;卢明辉;詹鹏;张利剑;芦红;;基于非厄米和拓扑效应的光场调控机制与光学器件研究进展(特邀)[J];红外与激光工程;2021年01期
4 王悦;刘元正;华昕怡;杨博雯;陈世杰;陈建;;紧凑型矢量光场发生器中4f系统的对齐方法[J];光学仪器;2021年04期
5 管浩;;奕目科技:突破技术壁垒,打造“三维慧眼”[J];华东科技;2021年08期
6 马晓喆;张方;黄惠杰;;光刻机照明光场强度分布校正技术研究[J];中国激光;2021年20期
7 李亚宁;王雪;周果清;王庆;;四维光场表达模型综述[J];激光与光电子学进展;2021年18期
8 王宇航;王梓豪;刘恺欣;;无序介质中的光场调控及成像方法研究现状[J];科技与创新;2021年21期
9 付敏;陈凡;朱革;石海林;魏晓波;乔俊红;冷从阳;;一种基于旋转光场的高精度角位移测量方法研究[J];光学学报;2021年18期
10 张韶辉;胡摇;曹睿;程雪岷;郝群;;光场成像原理及应用技术[J];兵器装备工程学报;2020年02期
中国重要会议论文全文数据库 前20条
1 许凌飞;周志超;任天荣;;精细光场气动光学数值计算研究[A];2015年红外、遥感技术与应用研讨会暨交叉学科论坛论文集[C];2015年
2 王继锁;孙金祚;王传奎;;光场高阶压缩的独立性[A];第五届全国量子光学学术报告会论文摘要专集[C];1992年
3 印建平;黎永青;王育竹;;非经典强度相关光场中噪声频谱特性及压缩关系的实验研究[A];第五届全国基础光学学术报告会和交叉科学中的光学问题讨论会论文集[C];1991年
4 周文胜;苏显渝;郭履容;李健;;新型准正弦光场在位相轮廓术中的应用[A];第四届全国光电技术与系统学术会议论文集[C];1991年
5 马龙生;;光场时域和频域的精密控制 光学频率合成与光脉冲合成[A];中国光学学会2006年学术大会论文摘要集[C];2006年
6 郭蕊香;马红亮;张云;李小英;张宽收;彭堃墀;;小型全固化非经典光场产生系统的实验研究及其热自锁现象的实验观察与分析[A];第九届全国量子光学学术报告会摘要集(Ⅱ)[C];2000年
7 黎永青;王育竹;王长生;;实验观察压缩量为90%(10dB)的非经典孪生光场[A];第五届全国基础光学学术报告会和交叉科学中的光学问题讨论会论文集[C];1991年
8 彭堃墀;谢常德;;非经典光场的产生和应用[A];面向21世纪的科技进步与社会经济发展(上册)[C];1999年
9 郭龚强;李刚;张鹏飞;张玉驰;王军民;张天才;;基于光场统计特性的非经典判据的研究[A];第十四届全国量子光学学术报告会报告摘要集[C];2010年
10 卢川;刘伟涛;陈平形;;利用双光子符合测量直接观察非纠缠光场与纠缠光场的一种显著差异[A];第十四届全国量子光学学术报告会报告摘要集[C];2010年
11 廖庆洪;方光宇;王月媛;刘树田;;陆续通过一个热光场腔时两原子间纠缠的突然产生[A];第十四届全国量子光学学术报告会报告摘要集[C];2010年
12 李宏荣;李福利;张沛;;利用条件测量实现非高斯纠缠光场[A];第十四届全国量子光学学术报告会报告摘要集[C];2010年
13 方卯发;陈菊梅;何林生;;熵测不准关系与光场的熵压缩[A];第八届全国量子光学学术报告会论文摘要选[C];1998年
14 冷建材;夏云杰;;负P表示非经典光场的信息熵[A];第十一届全国量子光学学术会议论文摘要集[C];2004年
15 李高翔;彭金生;;旋波近似和非旋波近似下J—C模型中光场位相涨落[A];第五届全国基础光学学术报告会和交叉科学中的光学问题讨论会论文集[C];1991年
16 单传家;夏云杰;;相位损耗腔中原子纠缠与光场非经典特性之间的关系[A];江苏、山东、河南、江西、黑龙江五省光学(激光)联合学术'05年会论文集[C];2005年
17 朱从旭;;迭加态与光场振幅平方压缩增强[A];第五届全国量子光学学术报告会论文摘要专集[C];1992年
18 霍丙忠;;聚焦光场激发下中心对称球形粒子的二次谐波产生[A];中国光学学会2011年学术大会摘要集[C];2011年
19 汤瑞凯;李雄杰;吴文杰;武愕;曾和平;;涡旋光场频率上转换实验研究[A];第十六届全国量子光学学术报告会报告摘要集[C];2014年
20 周原;夏云杰;;远程操纵光场的非经典性质[A];第十二届全国量子光学学术会议论文摘要集[C];2006年
中国博士学位论文全文数据库 前20条
1 李远航;三维光场显示实时编码与渲染方法研究[D];北京邮电大学;2021年
2 臧天阳;微纳结构光场调控及精密位移测量研究[D];中国科学技术大学;2020年
3 蔡亚楠;紧聚焦矢量光场的产生、表征与应用研究[D];中国科学院大学(中国科学院西安光学精密机械研究所);2020年
4 刘伟伟;自加速光场和阵列光场的研究及在光捕获中的应用[D];中国科学技术大学;2016年
5 毛磊;空间结构光场生成及其与微纳结构相互作用的研究[D];中国科学技术大学;2016年
6 周志良;光场成像技术研究[D];中国科学技术大学;2012年
7 刘博阳;三维光场显示性能提升的关键技术研究[D];北京邮电大学;2021年
8 苏忱;高分辨率可交互扫描光场显示关键技术研究[D];浙江大学;2017年
9 高超;悬浮光场显示光学系统优化技术研究[D];北京邮电大学;2021年
10 赵波;矢量光场的实时表征及偏振特性研究[D];哈尔滨理工大学;2021年
11 王浩宇;硅基超表面光场调控研究[D];中国科学技术大学;2020年
12 李凡星;随机散射光场在相位恢复和相干衍射成像中的应用研究[D];中国科学院大学(中国科学院光电技术研究所);2020年
13 伍俊龙;基于光场成像的三维测量技术研究[D];中国科学院大学(中国科学院光电技术研究所);2020年
14 赵娟宁;光场成像技术研究及其在激光参数测量中的应用[D];中国科学院研究生院(西安光学精密机械研究所);2015年
15 郑冰;混合光场水下光学二维与三维探测研究[D];中国海洋大学;2013年
16 荣振宇;基于液晶空间光调制器的矢量光场调控研究[D];山东师范大学;2014年
17 徐洪梅;水下非均匀光场的目标探测研究[D];中国海洋大学;2009年
18 李永旭;结构光场的特性及其在光通信中的应用研究[D];西安电子科技大学;2020年
19 曹烽燕;压缩超快成像及其超快光场测量应用[D];华东师范大学;2021年
20 王振昊;光场三维成像性能优化技术研究[D];吉林大学;2020年
中国硕士学位论文全文数据库 前20条
1 陈建成;焦散相位矢量光场的生成与传播特性研究[D];东南大学;2020年
2 葛凡;光场显示景深扩展的关键技术研究[D];北京邮电大学;2021年
3 夏正德;基于稀疏采样的稠密光场重建方法研究[D];中北大学;2020年
4 关德鹏;光场体验质量评价[D];西安电子科技大学;2017年
5 张玉坤;基于多聚焦特征学习的光场深度估计研究[D];大连理工大学;2021年
6 张延相;超快矢量光场的空时紧聚焦特性研究[D];太原理工大学;2021年
7 王梦帅;新型庞加莱球矢量光场的设计及其焦面调控[D];曲阜师范大学;2021年
8 郑建文;基于光场成像的三维立体视觉测量方法研究[D];中国民航大学;2020年
9 吴海俊;矢量结构光场参量上转换[D];哈尔滨理工大学;2020年
10 宋攀;手性媒质中结构光场的自旋/轨道角动量及其相互作用研究[D];西安电子科技大学;2020年
11 李帅;基于空间光场的亮度感知研究[D];东南大学;2019年
12 王林;光场反射式直线时栅光场分布仿真和结构设计[D];重庆理工大学;2017年
13 皮慧婷;非密集采样下的连续表面光场构建[D];北京工业大学;2017年
14 唐恒;光场成像全焦图像生成及其显著性检测研究[D];浙江工商大学;2015年
15 张文豪;基于频率域的光场重对焦算法研究[D];浙江工商大学;2015年
16 李俊锋;融合光场焦点堆栈和全聚焦图像的显著性检查算法[D];浙江工商大学;2015年
17 郭松;水下非均匀光场建立方法研究[D];中国海洋大学;2008年
18 魏华;空间非对易条件下双模量子光场畸变性质的研究[D];华中科技大学;2006年
19 范广飞;光场打印3D图形机理与系统研究[D];苏州大学;2016年
20 晏旭;基于光场成像的视差估计算法研究[D];中国科学院大学(中国科学院光电技术研究所);2021年
中国重要报纸全文数据库 前19条
1 记者 黄辛;光场单向放大研究取得新进展[N];中国科学报;2019年
2 罗晨锋;红光场县携手共建美好家园[N];北大荒日报;2010年
3 本报记者 刘园园;光场,显示领域的下一个大热门[N];科技日报;2015年
4 记者 黄辛 许悦;我国科学家发展新型光场显微镜[N];中国科学报;2020年
5 王凡华 本报记者 滕继濮;赵建林:一点光芒,就可绽放[N];科技日报;2016年
6 本报记者 胡军;光场相机快速推陈出新[N];中国消费者报;2015年
7 刘霞;新技术首次将光场转化为机械振动[N];科技日报;2010年
8 中青报·中青网记者 王烨捷;“光子飓风”制造者正在打开全球光学宝库[N];中国青年报;2021年
9 南方日报记者 昌道励 王诗堃 赵晓娜;服贸会广东军团创新产品亮眼[N];南方日报;2020年
10 本报记者 沈湫莎;5G落地,“AI+直播”模式助力在线经济迭代[N];文汇报;2020年
11 记者 卢兆欣 吴霄云;2020年度交流会在通举行[N];南通日报;2020年
12 记者 房琳琳;科学家首次观测到有角度的加速光[N];科技日报;2015年
13 本报记者 林美炳;VR/AR不会重蹈3D电视覆辙[N];中国电子报;2016年
14 记者 烟成群 胥文燕;河北企业率先产业化应用我国首款工业数字光场芯片[N];河北经济日报;2020年
15 本报记者 滕继濮;2012,那些可圈可点的技术[N];科技日报;2013年
16 记者 任平;我省荣获6项2006年度国家科技二等奖[N];山西科技报;2007年
17 记者 耿挺;新型光场显微镜可高速记录大脑神经元活动[N];上海科技报;2020年
18 本报记者 徐勇;HTC:“墙”已撞过[N];人民邮电;2014年
19 记者 韦舟朝通讯员 梁云龙;钦南经济社会发展呈“八新”[N];钦州日报;2008年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978