收藏本站
《浙江大学》 2012年
收藏 | 手机打开
二维码
手机客户端打开本文

自然三维电视系统中立体匹配及视点合成技术研究

姚力  
【摘要】:真实世界的三维感知力是人类最原始的本能之一。近年来,随着计算机图形学、计算机网络、数字多媒体等技术的发展和成熟,三维电视将是下一代数字电视的发展方向。自然三维电视希望通过自然场景的拍摄、与传统二维电视兼容的格式传输、裸眼自由的观看环境下显示,以给观众身临其境的三维视觉感受。 内容制作和视点重构是自然三维电视系统的两大关键模块。内容制作指从多视点视频中提取用于表达空间场景位置关系的深度信息,并与彩色图像一起作为三维电视的基本表达形式。而视点重构指从图像以及对应深度信息中重构出多视点场景的过程。本文从自然三维电视的基本需求和目标出发,深入研究并提出了适用于本系统方案的内容制作和视点重构方法。本文的主要工作和创新性成果如下: 1.基于马尔可夫随机场(MRF),提出一种即时更新的置信扩散(BP)立体匹配算法。该算法在得到优秀匹配效果的同时能有效缩短收敛时间。利用双向的BP视差估计后进行视点重构,可以有效的降低内插视点的空洞区域面积。 2.提出一种基于扫描线优化的立体匹配实时算法,该算法对立体匹配的基本步骤进行了优化改进。首先,算法采用基于十字交叉的代价聚合,能提高初始匹配的稳定性。在优化阶段,算法使用平行扫描线和垂直扫描线的两步优化过程。在达到较好优化效果的同时尽可能降低优化算法的复杂度。最后,算法通过视差一致性检测改善物体边缘处的结果。借助于GPU的高效并行能力,算法在分辨率384×288,视差16的典型图像中运行速率达到35fps。同时,算法的客观精确度评测结果在middlebury网站上领先于其他类似的实时和扫描线优化算法。 3.针对单帧匹配算法提取视频序列的视差不稳定现象,提出两种有效的解决方案。第一种为基于3D-MRF的时空域BP算法。由于直接求解3D-MRF的BP算法时间、空间复杂度过于庞大,本文构造一种时域前向流水的算法框架,使得在每帧算法复杂度接近单帧BP的情况下能很好的改善视差时域连续性,同时算法得到的视差图质量并没有降低。 第二种为基于光流信息的时空域立体匹配算法。算法在空域上采用BP算法,以获得的置信值作为单帧的匹配代价。然后在时域上进行光流估计,并建立帧间的平滑代价计算模型,用动态规划优化求解。算法同样采用前向流水递归,能保证提高深度序列的稳定性的同时计算代价增加不大。 4.根据深度(视差)图像的虚拟视点绘制原理重构出多视点视频,并解决其中的可见性、重采样、空洞问题。提出一种基于MRF的空洞修复算法,该算法结合了结构修复和纹理修复的特点,以全局优化求解的形式得到空洞区域的信息估计值。同时,本文还提出检测和表达遮挡信息的方法,基于“视频”+“深度”+“遮挡信息”的内容表达方式,可在尽可能降低数据带宽的同时提高视点合成的质量。
【学位授予单位】:浙江大学
【学位级别】:博士
【学位授予年份】:2012
【分类号】:TP391.41

手机知网App
【引证文献】
中国期刊全文数据库 前1条
1 李海涛;;基于QNX的时分互补色三维视频编码方法[J];郑州轻工业学院学报(自然科学版);2014年04期
中国博士学位论文全文数据库 前2条
1 高凯;立体视频深度图提取及深度序列编码技术研究[D];吉林大学;2013年
2 彭祺;基于模式识别的双目立体视觉匹配研究[D];武汉大学;2013年
中国硕士学位论文全文数据库 前1条
1 高语函;三维电视中虚拟视点生成算法研究[D];山东大学;2014年
【参考文献】
中国期刊全文数据库 前8条
1 范科峰;张素兵;曹玲;;立体电视技术标准体系研究[J];信息技术与标准化;2010年09期
2 陈维强,高文;一种高效的MPEG-2视频编码的运动估计方案[J];电子学报;1999年09期
3 郑华东;于瀛洁;程维明;;三维立体显示技术研究新进展[J];光学技术;2008年03期
4 侯春萍;杨蕾;宋晓炜;戴居丰;;立体电视技术综述[J];信号处理;2007年05期
5 赵辉,尹志勇,王正国;基于立体显示器的立体视觉实现[J];医疗卫生装备;2005年05期
6 李伟;浅谈数字电视的现状和发展前景[J];有线电视技术;2003年07期
7 杜歆,李宏东,顾伟康;A simple rectification method for linear multi-baseline stereovision system[J];Journal of Zhejiang University Science;2004年05期
8 秦开怀;罗建利;;自由立体显示技术及其发展[J];中国图象图形学报;2009年10期
中国硕士学位论文全文数据库 前1条
1 张早;基于AVS视频编码运动估计搜索算法的研究和优化[D];天津大学;2009年
【共引文献】
中国期刊全文数据库 前10条
1 蔡剑华;罗一平;;基于二维EMD与均值滤波的图像去噪方法[J];湖南文理学院学报(自然科学版);2010年01期
2 陈亚娟;任晓东;张华;杨熙;;从专利申请看三维显示器件结构的发展现状[J];产业与科技论坛;2011年12期
3 朱美华;;改善数字图像质量的滤波方法研究[J];常州工学院学报;2006年06期
4 谢燕江;中值滤波在图像去噪中的应用[J];湘南学院学报;2004年02期
5 王宏志;胡艳君;赵爽;;一种混合噪声图像去噪的平滑算法[J];东北师大学报(自然科学版);2008年02期
6 戴洁;华卫列;姚静;张键;李军;郑君杰;;浅谈数字电视及其标准[J];电脑知识与技术;2008年29期
7 冯茂岩;沈春林;;立体显示技术及其研究现状[J];电视技术;2008年11期
8 董芳菲;黄心渊;;面向裸眼立体电视的体视动画技术综述[J];电视技术;2011年22期
9 汪繁;李学伟;林凯;;3D LED液晶电视设计方案[J];电子产品世界;2011年05期
10 高得鑫;侯永宏;王宝亮;韩晶晶;邹箭男;;一种多视点自由立体高清视频播放器的设计与实现[J];电子技术应用;2011年12期
中国重要会议论文全文数据库 前5条
1 贾大功;张未冬;武立强;张红霞;张以谟;;全息三维显示技术及其发展[A];中国光学学会2010年光学大会论文集[C];2010年
2 韩军伟;陆俊;;信息融合的边缘保持图像滤波方法[A];图像图形技术研究与应用(2010)[C];2010年
3 王强;;一种改进的混合滤波的方法[A];计算机技术与应用进展·2007——全国第18届计算机技术与应用(CACIS)学术会议论文集[C];2007年
4 李雪峰;刘志刚;王长海;;无标定立体像对校正技术综述[A];国家安全地球物理丛书(六)——空间地球物理环境与国家安全[C];2010年
5 Rui Liu;Longfei Cui;Wenke Zhang;Ming Zhu;;Using Fast Sampling-Insensitive Stereo Matching For 2-D Face Recognition[A];2013年中国智能自动化学术会议论文集(第二分册)[C];2013年
中国博士学位论文全文数据库 前10条
1 赵猛;大屏幕多人沉浸式立体显示系统[D];大连海事大学;2010年
2 于秋水;基于图像处理方法的光学瞄具自动调焦技术研究[D];长春理工大学;2011年
3 王念东;集成化虚拟装配理论、方法及其在飞机总体布置中的应用[D];南京航空航天大学;2009年
4 孙振华;游梁式抽油机采油系统实时评价方法研究[D];中国石油大学;2011年
5 魏娟;煤矿救援机器人系统运载车关键技术研究[D];西安科技大学;2011年
6 熊波;基于非局部信息的保边缘图像去噪研究及应用[D];华中科技大学;2012年
7 张建忠;孔—轴装配机器人视觉制导关键技术研究[D];东南大学;2006年
8 赵吉广;基于视频图像的路面性能参数采集方法研究[D];东南大学;2006年
9 杨红娟;基于变量化设计的逆向工程CAD建模技术研究[D];山东大学;2007年
10 柴登峰;面向三维可视通讯的立体匹配方法[D];浙江大学;2006年
中国硕士学位论文全文数据库 前10条
1 荣宪伟;立体图像序列编码的研究[D];哈尔滨工程大学;2010年
2 吴振华;基于模糊数学理论的数字图像处理[D];长沙理工大学;2010年
3 吕凯红;数字图像中脉冲噪声的滤波算法研究[D];哈尔滨理工大学;2010年
4 郭波;基于LabVIEW的红光高清光学头测试系统研究[D];武汉工程大学;2010年
5 黄晓军;二维转三维视频技术研究[D];浙江大学;2011年
6 张海庆;计算全息编码技术的研究[D];西安工业大学;2011年
7 李大鹏;计算全息图像数据处理与显示系统设计[D];山东师范大学;2011年
8 王双双;基于模糊集理论的图像滤波方法研究[D];江南大学;2011年
9 陈亮;桌面增强现实环境下的虚实融合和三维交互技术研究[D];北京邮电大学;2011年
10 李兵;遥操作预测仿真环境构建中多视点视图合成方法研究[D];北京邮电大学;2011年
【同被引文献】
中国期刊全文数据库 前8条
1 黎之乐;王兴东;周军;熊怡因;;双视立体视频同步合成系统设计与实现[J];电视技术;2011年12期
2 付文秀,王世刚,刘占声;基于四叉树分割视频对象的可伸缩编码算法[J];吉林大学学报(信息科学版);2003年S1期
3 吴方;王沛;;基于颜色变化信息的局部立体匹配算法[J];电视技术;2013年23期
4 侯春萍;杨蕾;宋晓炜;戴居丰;;立体电视技术综述[J];信号处理;2007年05期
5 倪炜基;徐贵力;田裕鹏;王彪;陈欣;;基于色彩分割和自适应窗口的快速立体匹配[J];仪器仪表学报;2011年01期
6 刘莹;曹剑中;许朝晖;田雁;付同堂;王锋;;基于灰度相关的图像匹配算法的改进[J];应用光学;2007年05期
7 郁理;郭立;袁红星;;基于分级置信度传播的立体匹配新方法[J];中国图象图形学报;2011年01期
8 张艳;蔡灿辉;;灵活的多视点视频编码预测结构[J];中国图象图形学报;2012年06期
中国博士学位论文全文数据库 前10条
1 池凌鸿;立体匹配算法的研究和应用[D];中国科学技术大学;2011年
2 肖汉;基于CPU+GPU的影像匹配高效能异构并行计算研究[D];武汉大学;2011年
3 刘正东;计算机视觉中立体匹配技术的研究[D];南京理工大学;2005年
4 周秀芝;面向深度提取和形状识别的图像匹配[D];国防科学技术大学;2006年
5 柴登峰;面向三维可视通讯的立体匹配方法[D];浙江大学;2006年
6 夏永泉;计算机视觉中双目匹配相关技术研究[D];南京理工大学;2007年
7 郑志刚;高精度摄像机标定和鲁棒立体匹配算法研究[D];中国科学技术大学;2008年
8 云挺;虚拟空间会议立体图像匹配技术及应用研究[D];南京理工大学;2008年
9 葛亮;图像建模中立体匹配问题的研究[D];重庆大学;2009年
10 郭龙源;计算机视觉立体匹配相关理论与算法研究[D];南京理工大学;2009年
中国硕士学位论文全文数据库 前1条
1 刘勇;基于图像的空间三维数据获取及建模[D];武汉大学;2004年
【二级参考文献】
中国期刊全文数据库 前10条
1 严明;胡国荣;;AVS视频标准中的分像素插值算法设计[J];中国传媒大学学报(自然科学版);2006年04期
2 谢敬辉,孙萍;全息术的新进展[J];北京理工大学学报;2003年02期
3 刘洋,郑小林,李冰;内窥镜立体视觉的实现[J];北京生物医学工程;2003年03期
4 戴晨光,张永生,黄小波,潘申林;基于微机的3维景观立体显示技术[J];测绘通报;2002年09期
5 张欣佑;张晓冬;王浩;;AVS编码与DSP实现的视频编码器[J];单片机与嵌入式系统应用;2006年12期
6 唐泽鹏,秦雷,朱秀昌,刘峰;运动估计算法分析[J];电视技术;2001年12期
7 侯金亭;董胜富;呼大明;杨长水;魏勇刚;;并行AVS实时编解码器设计与实现[J];电视技术;2006年05期
8 周玲,张晓兵,尹涵春;虚拟现实中关于视觉深度感知的讨论[J];电子器件;2000年02期
9 王金城,郭欢庆,郎海涛,马跃;数字合成全息系统[J];光电子·激光;2002年07期
10 王媛媛;王辉;金洪震;马利红;;计算机与光学相结合的动态彩虹全息研究[J];光电子·激光;2006年04期
中国博士学位论文全文数据库 前1条
1 曹玉茹;全息显示的计算原理、方法及系统实现[D];安徽大学;2006年
中国硕士学位论文全文数据库 前2条
1 陈良琴;视频压缩系统运动估计技术研究[D];福州大学;2005年
2 贺文伟;视频编码中运动估计算法研究[D];山东大学;2006年
【相似文献】
中国期刊全文数据库 前10条
1 卢思军;唐振民;郭龙源;卢阿丽;;采用模糊判别的自适应多窗口立体匹配[J];工程图学学报;2009年06期
2 李洪海;;一种改进的快速立体匹配方法[J];自动化与仪器仪表;2010年04期
3 林川;潘盛辉;韩峻峰;谭光兴;李梦和;;基于区域的立体匹配优化方法[J];计算机工程与设计;2011年08期
4 林静;江开勇;林俊义;李莉君;;基于立体校正的快速相位立体匹配[J];贵州师范大学学报(自然科学版);2013年02期
5 张永生;随机立体匹配[J];解放军测绘学院学报;1991年02期
6 刘献如;杨欣荣;伍春洪;王仕果;;基于能量最小化的立体匹配方法研究[J];计算机工程;2006年22期
7 陈毅滨;蔡灿辉;;基于秩空间的二次立体匹配[J];计算机工程与应用;2008年34期
8 高波;马利庄;;加入结构约束的半全局立体匹配方法[J];计算机应用与软件;2009年02期
9 卢思军;唐振民;郭龙源;卢阿丽;;一种新的非参数变换定义及立体匹配方法[J];计算机科学;2009年02期
10 肖艳青;刘党辉;孙朋;;图像立体匹配研究进展[J];测控技术;2009年08期
中国重要会议论文全文数据库 前10条
1 赵慧洁;雷彦章;姜宏志;;基于投影栅相位的立体匹配方法[A];第十三届全国图象图形学学术会议论文集[C];2006年
2 刘晓丽;徐光柱;雷帮军;孙水发;冯德鸿;;立体匹配技术研究[A];'2010系统仿真技术及其应用学术会议论文集[C];2010年
3 王跃宗;刘冲;李德胜;;彩色显微图像立体匹配研究[A];中国微米、纳米技术第七届学术会年会论文集(一)[C];2005年
4 付丽琴;韩焱;;基于立体匹配技术的射线图像三维信息重建技术研究[A];第十一届中国体视学与图像分析学术会议论文集[C];2006年
5 李竹林;赵宗涛;王文发;马燕;;一种缺失摄像机标定参数图像的立体匹配方法[A];第十三届全国图象图形学学术会议论文集[C];2006年
6 周秀芝;王润生;;基于自适应窗口的稠密立体匹配[A];立体图象技术及其应用研讨会论文集[C];2005年
7 贾涛;陈涛;杨润奎;;基于仿射不变量的长基线立体匹配[A];第三届全国信息获取与处理学术会议论文集[C];2005年
8 左森;郭晓松;万敬;郭君斌;;Graph Cuts及其在立体匹配中的应用[A];立体图象技术及其应用研讨会论文集[C];2005年
9 李刚;曾荣盛;韩建涛;陈曾平;;基于双向SIFT的未标定图像的立体匹配[A];全国第4届信号和智能信息处理与应用学术会议论文集[C];2010年
10 纪松;范大昭;初艳锋;杨靖宇;;线阵遥感影像多视立体匹配中VLL模型的扩展[A];第十七届全国测控计量仪器仪表学术年会(MCMI'2007)论文集(上册)[C];2007年
中国博士学位论文全文数据库 前10条
1 柴登峰;面向三维可视通讯的立体匹配方法[D];浙江大学;2006年
2 卢思军;立体匹配关键技术研究[D];南京理工大学;2011年
3 胡腾;基于多通道置信度传播算法的航空核线影像稠密立体匹配研究[D];武汉大学;2013年
4 李莉;基于偏微分方程的立体匹配问题研究[D];山东大学;2011年
5 裴伟;显微立体匹配及非接触无损快速三维测量研究[D];大连理工大学;2007年
6 葛亮;图像建模中立体匹配问题的研究[D];重庆大学;2009年
7 耿英楠;立体匹配技术的研究[D];吉林大学;2014年
8 刘正东;计算机视觉中立体匹配技术的研究[D];南京理工大学;2005年
9 郭龙源;计算机视觉立体匹配相关理论与算法研究[D];南京理工大学;2009年
10 张超;树木影像特征提取与立体匹配技术研究[D];中国林业科学研究院;2003年
中国硕士学位论文全文数据库 前10条
1 陈海波;三维重建中立体匹配问题研究[D];中南大学;2005年
2 陈蛟;双目立体匹配的算法研究及其多核并行化[D];南京邮电大学;2012年
3 范建德;道路场景下的立体匹配和运动物体跟踪研究[D];中原工学院;2013年
4 金玲;稠密立体匹配方法的研究[D];辽宁大学;2011年
5 刘琪;基于双目视觉的立体匹配技术研究[D];南京邮电大学;2011年
6 蒋鑫晖;基于多尺度理论的图像立体匹配关键问题研究[D];中南林业科技大学;2013年
7 肖冰;基于点特征的立体匹配技术研究[D];陕西师范大学;2006年
8 刘保学;高分辨率遥感图像建筑物提取与立体匹配技术研究[D];哈尔滨工业大学;2011年
9 林立军;物流配送路径优化理论在立体匹配中的应用研究[D];哈尔滨理工大学;2011年
10 袁宁;双目视觉中立体匹配的方法研究[D];湖北工业大学;2012年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026