收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于三维摄像头的视差图像处理在FPGA上的实现

刘速  
【摘要】:三维视频、图像处理行业是目前炙手可热的产业之一。目前,国内外许多研究学者都在致力于研究如何以高速、有效的方式得到高质量的三维视频图像。迄今为止,关于三维视频、图像计算的讨论有很多,但是行业内目前还未出台一个统一的产业标准。在这种情况下,目前主流的研究方向有三个,一是基于多角度拍摄同一物体得到多方位目标信息与景深数据进行立体匹配,二是基于现有的二维图像信息完成三维物体的重建,三是针对目前市场上出现的三维摄像头对摄像头提供的视差图像进行增强处理。基于立体匹配的三维视频处理手段的具体方法有很多,有一些算法也取得了不错的成绩,但是因为前期的工作标准不同(比如摄像头的摆放位置、角度计算等)计算的精度和速度也会受到影响。基于二维重建的三维视频图像处理主要用于对历史文物的复原等方面。这种方式下的算法计算量以及算法复杂度极大,即使是借助硬件实现的手段也难以实时的实现具体应用。相对于前两种处理方法来说,第三种方法是近几年新兴的处理方法。这种处理方法是通过三维摄像头获取外界信息,通过对摄像头获取的数据信息进行处理来得到完整的三维视频图像。本课题就是针对第三种处理方法展开的讨论。相信随着三维摄像头的普及,通过提高视差图像的质量来得到高可靠性、高清晰度三维视频、图像的方法将有着重要的意义。 本文针对如何提高三维摄像头输出的视差图像,如何实时的得到高清晰度、高准确度的三维视频信息进行了深入的研究和讨论。本文的主要工作分为两大方面:软件算法的研究和硬件加速算法的研究和实现。 在软件算法研究方面,本文的主要工作有以下几点: (1)多尺度下的基于权重函数的全局插值方法 本文算法在进行视差图像插值时采用了多尺度度量的方法,使得有效的抑制了插值后图像的失真情况。本文提供了一种可进行多级插值的二进制尺度模板,在每一级插值计算时可通过判断模板的二进制标识符进行相应的插值计算,来提高计算效率。同时还降低了视频帧计算的误差率和失真情况。基于多尺度的插值计算有效的减少了图像插值后的马赛克情况,使图像看起来更加逼真。 (2)简化的时空一致性计算方法 在进行了工作(1)后,本文设计的系统得到了视差图像处理的初始数据,与后续的基于光流场计算得到的运动估计矩阵一起,输入到后处理阶段进行后期处理。针对该处理阶段,本文对原有的时空一致性计算算法进行了改进,提出了一种简化的时空一致性计算方法,既提高了输出图像的质量,有效抑制输出噪声,又在误差允许的情况下提高了运行效率。 其次,在硬件算法加速研究方面,本文的主要工作有如下几个方面: (1)提出了一种基于局部并行的多尺度插值计算和光流场计算的联合硬件架构。在这种架构下,系统将第n级的插值计算的输出作为基于分层的光流场计算单元第(n-1)级的输入,使得第n级插值计算与第(n-1)级的光流场计算可并行的运行。对于每帧图像的插值计算中的子单元以及光流场计算中的子单元则采用级联的处理方式。这种并行和级联相结合的方式有效的提高了系统的运行效率,同时由于处理数据的复用特性,还节省了系统的存储资源。 (2)提出了一种分层计算的光流场计算的硬件架构。此架构包括快速的双线性插值硬件单元、梯度计算单元、最小均方矩阵计算单元以及速率计算单元的硬件加速架构。该部分的硬件结构同样使用并联和级联相结合的方法来提升系统的运行速度。在计算过程中第(n)级的双线性插值计算与第(n-1)级的梯度计算的卷积单元并行运行。对于双线性插值单元则是产生逐级串行的计算方式。 (3)针对三维视频的后处理阶段的时空一致性计算单元,本文提出了一种基于并行迭代相加的时空一致性计算结构。这种结构进一步优化了系统的运行性能,使得对于前一帧视差图像与当前帧视差图像的分片卷积,和当前帧视差图像与当前帧光流场运动估计矩阵的分片卷积并行的运行,来提高运行效率。 (4)提出了一种快速的奇偶交叉存储读取的摄像头RGB数据分量的提取方法。此方法在实时的获取摄像头原数据的同时可以快速的对原数据中的RGB分量进行分离和提取,产生后续处理需要的标准视频数据格式。 (5)提出了一种基于行方向的高斯滤波快速计算结构。在这种结构下,系统提前将高斯模板数据预存到片内寄存器内,与待处理数据一同输入到计算单元来进行卷积计算。同时用数据移位的方式来代替除法器,有效的节约了计算时间。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 顾征,苏显渝;采用邻域差值特征模板的立体匹配方法[J];光电工程;2005年10期
2 陈志波;李声;;基于双目视觉的边缘检测算法[J];光学与光电技术;2008年04期
3 游磊;杨丹;张小洪;;一种新的基于DoG的立体匹配算法[J];重庆工学院学报(自然科学版);2009年01期
4 王爱红;王琼华;李大海;陶宇虹;李小方;;立体显示中立体深度与视差图获取的关系[J];光学精密工程;2009年02期
5 夏利民;谷士文;沈新权;孙星明;;一种新颖的立体匹配方法[J];模式识别与人工智能;2001年04期
6 李亚峰;秦开怀;;一种双目立体视觉算法的GPU实现[J];计算机工程;2006年10期
7 左森;郭晓松;万敬;杨必武;;宽基线视差图像的拼接算法[J];计算机工程;2007年10期
8 李里明;李大海;时霖;;二维视频三维化的新方法[J];成都信息工程学院学报;2009年02期
9 云挺;肖亮;吴慧中;;基于曲波和Markov模型的新型立体匹配算法[J];系统仿真学报;2009年10期
10 张浩;李大海;王琼华;刘曦;;自由立体显示拍摄系统中摄像机空间自由度的确定[J];液晶与显示;2010年02期
11 鞠芹;安平;张倩;吴妍菲;张兆杨;;基于多目立体匹配的深度获取方法[J];计算机工程;2010年14期
12 王肇捷,黄文剑;立体匹配的免疫算法[J];电脑与信息技术;2001年04期
13 左森,郭晓松,杨必武,郭君斌;基于矩形子块法的快速全局立体匹配算法[J];计算机工程与应用;2005年33期
14 王哲;常发亮;;基于网络最小割的分层立体视觉匹配方法[J];模式识别与人工智能;2007年01期
15 赵聪;亓学鹏;柯晶;;基于控制点约束及区域相关的立体匹配算法[J];可编程控制器与工厂自动化;2008年07期
16 赵聪;亓学鹏;柯晶;;基于控制点约束及区域相关的立体匹配算法[J];山东理工大学学报(自然科学版);2008年06期
17 张超;王琼华;李大海;陶宇虹;张映权;;从平面图生成多视点自由立体显示视差图的研究[J];液晶与显示;2009年02期
18 邵泽明;朱剑英;;自适应分层粒子群稠密视差图估计[J];中国图象图形学报;2009年04期
19 梁柱;李大海;王琼华;张浩;;彩色像对的邻域边界差值模板匹配算法研究[J];计算机工程与应用;2009年33期
20 赖小波;朱世强;马璇;;一种对光照条件不敏感而快速的局部立体匹配[J];机器人;2011年03期
中国重要会议论文全文数据库 前10条
1 刘爽;王世刚;陈贺新;吕源治;;基于视差和变化检测的立体视频对象的实时提取[A];第十五届全国图象图形学学术会议论文集[C];2010年
2 赵亮亮;黎宁;;一种基于全局约束的立体匹配算法[A];第十三届全国图象图形学学术会议论文集[C];2006年
3 张凯;葛文兵;汪国平;董士海;;基于立体视觉的自然手势识别[A];第一届建立和谐人机环境联合学术会议(HHME2005)论文集[C];2005年
4 孙略;;虚拟3D摄影移轴技术研究[A];2011中国电影电视技术学会影视技术文集[C];2011年
5 邱涛;郁梅;彭宗举;李福翠;徐秋敏;蒋刚毅;;一种交互式多视点系统中的多分辨率视差估计算法[A];第三届和谐人机环境联合学术会议(HHME2007)论文集[C];2007年
6 王彦成;杨红雨;;多路视频智能场面监视系统实时融合构架设计[A];第十四届全国图象图形学学术会议论文集[C];2008年
7 王世刚;王学军;陈贺新;;MPEG-4框架的面向立体视频对象压缩编码的研究[A];第十二届中国体视学与图像分析学术会议论文集[C];2008年
8 王琼华;李大海;王爱红;李小方;;基于柱面光栅的多视点三维自由立体显示器[A];中国图象图形学学会立体图象技术专业委员会学术研讨会论文集(第三期)[C];2009年
9 左森;郭晓松;万敬;郭君斌;;Graph Cuts及其在立体匹配中的应用[A];立体图象技术及其应用研讨会论文集[C];2005年
10 赵虹;于海滨;刘济林;;立体视觉技术在嵌入式客流统计系统中的应用[A];全国第一届嵌入式技术联合学术会议论文集[C];2006年
中国博士学位论文全文数据库 前10条
1 刘速;基于三维摄像头的视差图像处理在FPGA上的实现[D];山东大学;2012年
2 邵泽明;视觉移动机器人自主导航关键技术研究[D];南京航空航天大学;2009年
3 夏永泉;计算机视觉中双目匹配相关技术研究[D];南京理工大学;2007年
4 卢宗庆;运动图像分析中的光流计算方法研究[D];西安电子科技大学;2007年
5 梁志敏;遥控焊接机器人任务空间的三维重建研究[D];哈尔滨工业大学;2008年
6 刘赫伟;基于地面控制点和能量优化的鲁棒立体匹配算法研究[D];中国科学技术大学;2009年
7 陈震;图像序列光流场计算及三维场景恢复研究[D];西北工业大学;2003年
8 池凌鸿;立体匹配算法的研究和应用[D];中国科学技术大学;2011年
9 赵猛;大屏幕多人沉浸式立体显示系统[D];大连海事大学;2010年
10 周秀芝;面向深度提取和形状识别的图像匹配[D];国防科学技术大学;2006年
中国硕士学位论文全文数据库 前10条
1 韦金汝;彩色图像序列的光流场计算研究[D];广西民族大学;2010年
2 王志亮;多视点序列图的视差校准[D];天津大学;2010年
3 孙卫锋;静态立体图视差图形与随机点密度关系的研究[D];昆明医学院;2004年
4 程骏;基于立体视觉的直升机旋翼动态三维重建方法研究[D];南昌航空大学;2012年
5 陈思;面向移动机器人的立体视觉技术与应用[D];南京航空航天大学;2012年
6 张飞;3D视频后处理中的若干问题研究[D];浙江大学;2011年
7 鲁天安;基于插值的2D转3D关键技术研究[D];中国海洋大学;2012年
8 陈海波;三维重建中立体匹配问题研究[D];中南大学;2005年
9 田京雷;融合深度信息的运动人体图像分割研究[D];大连海事大学;2006年
10 范岩峰;基于通用动态图像模型的光流场计算研究[D];哈尔滨工程大学;2007年
中国重要报纸全文数据库 前2条
1 吉新;3D为何让人身临其境[N];人民邮电;2011年
2 本报记者 邱江勇;3D电视给你一个绚“视”界[N];中国电子报;2011年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978