收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

自然三维电视系统中立体匹配及视点合成技术研究

姚力  
【摘要】:真实世界的三维感知力是人类最原始的本能之一。近年来,随着计算机图形学、计算机网络、数字多媒体等技术的发展和成熟,三维电视将是下一代数字电视的发展方向。自然三维电视希望通过自然场景的拍摄、与传统二维电视兼容的格式传输、裸眼自由的观看环境下显示,以给观众身临其境的三维视觉感受。 内容制作和视点重构是自然三维电视系统的两大关键模块。内容制作指从多视点视频中提取用于表达空间场景位置关系的深度信息,并与彩色图像一起作为三维电视的基本表达形式。而视点重构指从图像以及对应深度信息中重构出多视点场景的过程。本文从自然三维电视的基本需求和目标出发,深入研究并提出了适用于本系统方案的内容制作和视点重构方法。本文的主要工作和创新性成果如下: 1.基于马尔可夫随机场(MRF),提出一种即时更新的置信扩散(BP)立体匹配算法。该算法在得到优秀匹配效果的同时能有效缩短收敛时间。利用双向的BP视差估计后进行视点重构,可以有效的降低内插视点的空洞区域面积。 2.提出一种基于扫描线优化的立体匹配实时算法,该算法对立体匹配的基本步骤进行了优化改进。首先,算法采用基于十字交叉的代价聚合,能提高初始匹配的稳定性。在优化阶段,算法使用平行扫描线和垂直扫描线的两步优化过程。在达到较好优化效果的同时尽可能降低优化算法的复杂度。最后,算法通过视差一致性检测改善物体边缘处的结果。借助于GPU的高效并行能力,算法在分辨率384×288,视差16的典型图像中运行速率达到35fps。同时,算法的客观精确度评测结果在middlebury网站上领先于其他类似的实时和扫描线优化算法。 3.针对单帧匹配算法提取视频序列的视差不稳定现象,提出两种有效的解决方案。第一种为基于3D-MRF的时空域BP算法。由于直接求解3D-MRF的BP算法时间、空间复杂度过于庞大,本文构造一种时域前向流水的算法框架,使得在每帧算法复杂度接近单帧BP的情况下能很好的改善视差时域连续性,同时算法得到的视差图质量并没有降低。 第二种为基于光流信息的时空域立体匹配算法。算法在空域上采用BP算法,以获得的置信值作为单帧的匹配代价。然后在时域上进行光流估计,并建立帧间的平滑代价计算模型,用动态规划优化求解。算法同样采用前向流水递归,能保证提高深度序列的稳定性的同时计算代价增加不大。 4.根据深度(视差)图像的虚拟视点绘制原理重构出多视点视频,并解决其中的可见性、重采样、空洞问题。提出一种基于MRF的空洞修复算法,该算法结合了结构修复和纹理修复的特点,以全局优化求解的形式得到空洞区域的信息估计值。同时,本文还提出检测和表达遮挡信息的方法,基于“视频”+“深度”+“遮挡信息”的内容表达方式,可在尽可能降低数据带宽的同时提高视点合成的质量。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 牟雅丹;;立体匹配算法的比较[J];技术与市场;2009年12期
2 游素亚,柳健,万发贯;一种基于相位基元的立体匹配方法[J];华中理工大学学报;1996年S2期
3 周东翔,蔡宣平,孙茂印;基于灰度段的立体匹配算法[J];软件学报;2001年07期
4 马桂珍,谌海新,马丙辰;基于双目视觉的手术器械跟踪定位技术[J];微计算机应用;2005年02期
5 陈佳;杨进华;张金泉;雷美荣;;基于单个摄像机的双目立体视觉测距技术研究[J];长春理工大学学报(自然科学版);2008年01期
6 苏胤杰;;基于蚁群优化算法的立体匹配[J];微计算机信息;2008年24期
7 李海军;;基于双目视觉的自动跟踪系统应用[J];火力与指挥控制;2010年01期
8 游素亚,柳健,万发贯;基于小波变换相位基元的立体匹配系统[J];信息与控制;1994年05期
9 游素亚,柳健,万发贯;基于二进小波变换的多分辨率立体匹配算法[J];通信学报;1995年01期
10 袁宏永;刘申友;;由一般运动估计模型约束的立体匹配方法[J];模式识别与人工智能;1995年04期
11 张爱武,李明哲,胡少兴,随振;基于计算机视觉的三维测量技术(英文)[J];农业工程学报;2001年01期
12 刘献如;杨欣荣;伍春洪;王仕果;;基于能量最小化的立体匹配方法研究[J];计算机工程;2006年22期
13 王忠波;邱天爽;;基于行列双动态规划的立体匹配算法[J];计算机工程;2009年08期
14 弥丽丽;潘建寿;刘继艳;;融合灰度和梯度的MRF模型的立体匹配[J];计算机工程与应用;2011年24期
15 游素亚,柳健,万发贯;一种基于邻域支持准则的双层立体匹配算法[J];信号处理;1994年02期
16 钟声;石青云;程民德;;基于小波变换的立体视觉匹配方法[J];模式识别与人工智能;1994年01期
17 丁震,唐振民,杨静宇,邬永革,柳健;一种渐进的立体匹配方法[J];计算机研究与发展;1997年S1期
18 张可黛,曾峦;基于小波多尺度零交叉基元的立体匹配方法[J];装备指挥技术学院学报;2000年03期
19 夏利民,谷士文,孙星明;基于免疫算法的立体匹配[J];计算机工程;2001年05期
20 杜歆,厉晓华,顾伟康,丁蒋霖;区域法立体匹配的实时性问题研究[J];浙江大学学报(理学版);2003年06期
中国重要会议论文全文数据库 前10条
1 刘晓丽;徐光柱;雷帮军;孙水发;冯德鸿;;立体匹配技术研究[A];'2010系统仿真技术及其应用学术会议论文集[C];2010年
2 周星;高志军;胡震宇;唐平;;月面巡视探测器立体匹配技术研究与仿真分析[A];中国宇航学会深空探测技术专业委员会第七届学术年会论文集[C];2010年
3 李刚;曾荣盛;韩建涛;陈曾平;;基于双向SIFT的未标定图像的立体匹配[A];全国第4届信号和智能信息处理与应用学术会议论文集[C];2010年
4 刘栋;颜云辉;张坚;阎彩霞;;金属断口表面定量测量与三维重建[A];第二届全国信息获取与处理学术会议论文集[C];2004年
5 赵亮亮;黎宁;;一种基于全局约束的立体匹配算法[A];第十三届全国图象图形学学术会议论文集[C];2006年
6 周秀芝;王润生;;基于自适应窗口的稠密立体匹配[A];立体图象技术及其应用研讨会论文集[C];2005年
7 赵杰;彭京;李戈;王晨;;基于粗细结合匹配方法的立体视觉研究[A];全国第13届计算机辅助设计与图形学(CAD/CG)学术会议论文集[C];2004年
8 张凯;葛文兵;汪国平;董士海;;基于立体视觉的自然手势识别[A];第一届建立和谐人机环境联合学术会议(HHME2005)论文集[C];2005年
9 付丽琴;韩焱;;基于立体匹配技术的射线图像三维信息重建技术研究[A];第十一届中国体视学与图像分析学术会议论文集[C];2006年
10 连晓峰;窦丽华;陈杰;;基于图割算法的全景图像立体匹配[A];2007年中国智能自动化会议论文集[C];2007年
中国博士学位论文全文数据库 前10条
1 翟振刚;立体匹配算法研究[D];北京理工大学;2010年
2 卢思军;立体匹配关键技术研究[D];南京理工大学;2011年
3 王玮;基于遮挡信息的局部立体匹配算法的研究[D];山东大学;2012年
4 杨青青;数字图像滤波器在立体匹配中的应用[D];浙江大学;2013年
5 胡腾;基于多通道置信度传播算法的航空核线影像稠密立体匹配研究[D];武汉大学;2013年
6 李莉;基于偏微分方程的立体匹配问题研究[D];山东大学;2011年
7 施陈博;快速图像配准和高精度立体匹配算法研究[D];清华大学;2011年
8 姚力;自然三维电视系统中立体匹配及视点合成技术研究[D];浙江大学;2012年
9 池凌鸿;立体匹配算法的研究和应用[D];中国科学技术大学;2011年
10 张超;树木影像特征提取与立体匹配技术研究[D];中国林业科学研究院;2003年
中国硕士学位论文全文数据库 前10条
1 刘家驹;汽车辅助驾驶系统中立体匹配算法[D];山东大学;2010年
2 沙里瓦特;显微立体视觉中的匹配技术研究[D];大连理工大学;2005年
3 刘进;基于视觉的三维建模相关技术研究[D];南京航空航天大学;2002年
4 薛丽娟;基于区域增长的立体匹配算法的研究[D];河北大学;2011年
5 常一婷;基于图形识别的虚拟交互关键技术的研究[D];大连海事大学;2010年
6 刘英杰;基于动态规划和置信传播的立体匹配算法的研究[D];燕山大学;2011年
7 张冬生;基于计算机视觉的三维测量技术[D];华北电力大学(河北);2004年
8 王富治;高精度视觉测量系统研究[D];电子科技大学;2005年
9 王伟;基于双目立体视觉的自动引导车导航基础研究[D];青岛大学;2006年
10 肖冰;基于点特征的立体匹配技术研究[D];陕西师范大学;2006年
中国重要报纸全文数据库 前2条
1 英特尔中国研究院 杜杨洲;3D显示热潮来袭[N];计算机世界;2010年
2 ;微软亚洲研究院里的“魔术师”[N];电脑报;2010年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978