收藏本站
《中国科学院大学(中国科学院沈阳计算技术研究所)》 2019年
收藏 | 手机打开
二维码
手机客户端打开本文

基于双目视觉的三维重建关键技术研究

张展  
【摘要】:随着我国国民经济迅速发展,人们生活质量的提高,国家对智能制造,智能城市,智能园区等一系列智能技术越来越重视,体现人工智能的双目立体视觉越显重要,它在智能生产,交通监控,机器导航,航空航天,医学建模,视觉仿真,文物复原,非接触高精度测量等方面,提供包括虚拟视觉仿真,视觉识别与定位等技术,能够有效地提高生产效率和产品质量,降低运营成本和资源能源消耗。基于双目视觉的三维重建,是图形图像处理与机器视觉的重要组成部分。因为单目相机拍摄的单幅图像是二维的,没有第三维信息,所以采用双目摄像机仿真人类视觉系统,拍摄两张二维图像,并根据这两张图像匹配点对的视差,利用相似三角形原理计算出目标物体表面点到两镜头光心连线的距离,以及物体表面点云三维坐标。三维重建,是根据物体表面全部或部分点云的三维坐标,对目标物体全部或者部分表面进行重建。三维重建可以恢复场景的3D信息,协助机器人完成目标的识别、定位、测量、导航、抓取与跟踪等特定任务。基于双目视觉的三维重建,模仿人类的两只眼睛同时观察场景的方法,更加经济实用。本课题目的是通过双目视觉图像匹配,计算视差,根据视差计算物体表面点云并建立目标物体的三维模型,辅助机器人进行工件等物体的识别、定位与抓取。意义在于能够加快生产的速度,提高产品的质量,使工业制造智能化。本课题依托国家项目:国家重点研发计划“基于工业物联网的智能产线实时故障诊断关键技术研究及应用”(YS2017YFGH001945)。论文的主要贡献是提出以下几个方法:1.圆周二进制特征提取算法现有梯度特征与二进制特征提取方法,存在计算量大和入围率低的问题,针对这些问题,提出一种图像关键点局部区域的圆周二进制特征提取的方法。提取特征时,使用高斯金字塔仿真人眼小孔成像模型:近处目标成像大,远处目标成像小,近目标成像清晰,远处目标成像模糊,确保特征的光照、尺度、模糊不变性;使用FAST算子检测关键点;使用图像特征点邻域灰度重心法,计算关键点特征方向,确保特征的旋转不变性;提出镜像不变性规律和圆周二进制特征提取算法,提升二进制特征的镜像不变性。提取的圆周二进制特征适应性强,对比速率快。2.位图局部敏感哈希的匹配二进制特征搜索算法针对现有的匹配二进制特征搜索算法存在效率低和入围点少的问题,提出快速计算位图算法以及位图局部敏感哈希算法,搜索图像的匹配二进制特征。首先,计算左图特征位向量的关键字;然后,使用快速计算位图算法计算位向量的位图,将位图按照掩码提取出关键字,并与二进制特征的标识作为映射构建局部敏感哈希表,同时将关键字存入位集;最后,根据右图提取的二进制特征对应关键字,使用位图快速判断特征ID是否存在于哈希表中,以优化查询哈希表中的匹配二进制特征,提高匹配二进制特征的搜索效率和质量。实验证明,位图局部敏感哈希算法提高了二进制特征近邻搜索的效率、增加了入围点数。3.圆周二进制特征提取与匹配搜索方法二进制特征在图像匹配识别与定位中,具有计算简单快速、匹配效率高和存储简单的优点。现有二进制特征提取算法镜像不变性较差,匹配二进制特征搜索算法入围率低,针对这两个问题,结合圆周二进制特征提取算法和位图局部敏感哈希算法,提出圆周二进制特征提取与匹配搜索方法。4.内外相似度聚集的立体匹配算法针对现有立体匹配方法提取视差图像的非闭塞区域错误率高和效率低的问题,提出内外相似度聚集的立体匹配算法:首先,给出参考彩色图像近邻像素的内部相似度;然后,在图像彩色与亚像素空间,给出左图像与右图像之间候选匹配像素的外部相似度;接着,提出内外相似度聚集方法,聚集左右图像匹配点的相似度,使用赢者通吃算法计算视差图;最后,提出盒图滤波算法,提纯和平滑视差图像,并给出八方向内外相似度聚集的立体匹配算法,实验结果证明,内外相似度聚集的立体匹配算法提取视差图的非闭塞区域错误率低,效率高。5.基于视差图像的物体表面的三维重建方法根据双目相机获取的两幅图,提取视差图像,提出基于视差直方图的图像分割算法,在视差图像中分割出目标区域,将目标区域图像分成5*5的方块,将每个方块按其角点划分成两个三角形。根据相似三角形,计算目标物体或者情景的图像的每块的角点的三维坐标,得到目标物体或者情景表面的点云,将目标区域每块的角点对应的三维点,按照顺序连线构成三维的三角形,这样目标区域就被分割成了三角形网格,对目标物体进行建模。该方法对目标物体三维重建的精度高,计算量小。6.估计目标物体姿态的方法建立目标物体表面的三维模型后,分割出视差图的参考图像的目标区域,以参考图像目标区域作为匹配模板,提供目标自身相对形状;在模板图像上检测关键点并提取特征,且在待姿态估计的图像提取点特征,使用匹配特征搜索算法,查询两张图像的匹配特征,根据特征标签找到特征点坐标;根据模板图像匹配点像素坐标及模板视差图像,获取目标区域点的三维坐标,这样得到了3D到2D坐标的映射,使用PNP算法,对目标物体进行姿态估计。
【学位授予单位】:中国科学院大学(中国科学院沈阳计算技术研究所)
【学位级别】:博士
【学位授予年份】:2019
【分类号】:TP391.41

免费申请
【参考文献】
中国期刊全文数据库 前6条
1 黄劲;江腾飞;鲍虎军;;四边形与六面体自动重网格化技术研究综述[J];计算机辅助设计与图形学学报;2015年08期
2 贾棋;高新凯;罗钟铉;樊鑫;郭禾;;基于几何关系约束的特征点匹配算法[J];计算机辅助设计与图形学学报;2015年08期
3 朱利;岳爱珍;周聪;;面向城市建筑物3D点云模型的快速绘制方法[J];计算机辅助设计与图形学学报;2015年08期
4 魏小峰;耿则勋;娄博;宋向;;空间目标三维姿态估计方法[J];武汉大学学报(信息科学版);2015年01期
5 张天;唐承统;刘检华;;基于多目视觉的弯管空间参数测量方法[J];仪器仪表学报;2013年02期
6 孔相澧;章国锋;华炜;;基于全局优化的保细节分层多视图立体匹配[J];计算机辅助设计与图形学学报;2011年01期
【共引文献】
中国期刊全文数据库 前10条
1 黄应清;文军;谢志宏;;行进间坦克火炮身管弯曲测量系统[J];中国测试;2015年11期
2 李云峰;韩茜茜;李晟阳;;基于机器视觉的冲压件尺寸参数测量[J];工具技术;2015年11期
3 姜翰青;赵长飞;章国锋;王慧燕;鲍虎军;;基于多视图深度采样的自然场景三维重建[J];计算机辅助设计与图形学学报;2015年10期
4 王俊理;冯景;张硕;;管路装配路径优化及有限元仿真分析[J];科技创新导报;2015年21期
5 罗月迎;王雅萍;朱目成;;船用弯管几何参数的机器视觉测量方法研究[J];机械设计与制造;2015年06期
6 乔玉晶;王浩然;赵燕江;;大尺寸曲面零件的双目视觉测量网络规划研究[J];仪器仪表学报;2015年04期
7 孙鹏飞;张求知;李文强;王鹏;孙长库;;单目多角度空间点坐标测量方法[J];仪器仪表学报;2014年12期
8 张佳朋;高立国;张斌;樊晓霞;王文超;刘检华;;面向航天器管路焊装过程的集成制造技术[J];计算机集成制造系统;2014年11期
9 金鹏;刘检华;刘少丽;张天;孙鹏;;基于二维靶标的管路端点位置测量方法[J];计算机集成制造系统;2014年11期
10 冯元民;;锅炉空间弯管检验技术探讨[J];装备制造;2014年S1期
【二级参考文献】
中国期刊全文数据库 前10条
1 LUO ZhongXuan;ZHOU XinChen;GU David XianFeng;;From a projective invariant to some new properties of algebraic hypersurfaces[J];Science China(Mathematics);2014年11期
2 靳峰;冯大政;;结合图像信息和几何关系的配准算法[J];华中科技大学学报(自然科学版);2014年02期
3 石民;张树生;李亮;白晓亮;;基于二维典型视图的三维CAD模型检索算法[J];制造业自动化;2012年09期
4 张益昕;汪家其;王顺;张旭苹;俞乾;;基于大尺度三维几何视觉的货运列车超限检测方法研究[J];仪器仪表学报;2012年01期
5 史金龙;白素琴;谈友霞;丁建雯;刘庆华;;基于多目视觉的变形钢板三维测量方法[J];计算机测量与控制;2011年09期
6 张瑞峰;张巍;;改进双目视觉在柴油机缸盖毛坯检测中的应用[J];电子测量技术;2011年08期
7 杜玉军;高明;辛维娟;吕宏;马卫红;;基于机器视觉的闭气塞表面缺陷自动检测系统[J];国外电子测量技术;2011年04期
8 张元元;张丽艳;杨博文;;基于双目立体视觉的无线柔性坐标测量系统[J];仪器仪表学报;2010年07期
9 赵阳;曲兴华;;平行照明多目视觉检测技术[J];红外与激光工程;2010年02期
10 吴飞;蔡胜渊;郭同强;庄越挺;;三角形约束下的图像特征点匹配方法[J];计算机辅助设计与图形学学报;2010年03期
【相似文献】
中国期刊全文数据库 前10条
1 翁和王;;双目视觉技术在智能机器人中的应用研究[J];赤峰学院学报(自然科学版);2016年21期
2 刘帅;吴洪昊;孙娟;;双目视觉定位在无人机电力巡检中的应用[J];黑龙江科技信息;2017年14期
3 毕伟平;张欢;瞿振林;丁永前;余洪锋;王波;;基于双目视觉的主从式果园作业车辆自主跟随系统设计[J];湖南农业大学学报(自然科学版);2016年03期
4 张爱华;刘公才;林冬梅;牛万才;王敬阳;;双目视觉脉搏图像采集系统精度分析[J];自动化与仪表;2017年09期
5 蔡英凤;王海;陈小波;江浩斌;;基于单双目视觉融合的车辆检测和跟踪算法[J];交通运输工程学报;2015年06期
6 郑志强,季秀才,刘斐;基于CMOS的双目视觉定位系统的设计[J];国防科技大学学报;2003年06期
7 费鹏;李鑫;;无人水面艇的双目视觉应用[J];珠江水运;2019年06期
8 薛亚东;;双目视觉技术在人机交互体育运动中的应用[J];自动化与仪器仪表;2016年10期
9 李立辉;王震洲;刘教民;;基于双目视觉技术的交通事故勘测系统的研究[J];河北科技大学学报;2007年04期
10 曾劲松;薛文凯;徐博凡;郎梦梦;;双目视觉引导机器人定位抓取技术的研究[J];组合机床与自动化加工技术;2019年01期
中国重要会议论文全文数据库 前10条
1 吴涛;刘欣;;基于单双目视觉信息融合的障碍检测方法[A];中国宇航学会深空探测技术专业委员会第二届学术会议论文集[C];2005年
2 乔玉晶;;大尺寸曲面零件的双目视觉测量网络规划研究[A];2015 年(第七届)西部光子学学术会议论文集[C];2015年
3 崔伟;吕伟;陶利民;;基于双目视觉的三维测量技术研究[A];第二十七届全国振动与噪声应用学术会议论文集[C];2016年
4 张静;李琳;刘晓平;;基于双目视觉的虚拟手的实现[A];计算机技术与应用进展——全国第17届计算机科学与技术应用(CACIS)学术会议论文集(上册)[C];2006年
5 张颂;谢永杰;;基于双目视觉的空间脱靶量测量技术研究[A];第十四届全国光学测试学术讨论会论文(摘要集)[C];2012年
6 王红雨;汪梁;章宝民;赵珣;尹午荣;;辅助无人机精准挂落输电线的双目视觉测距系统研究[A];2018中国自动化大会(CAC2018)论文集[C];2018年
7 孙明;;基于双目视觉的移动机器人避障研究[A];中国农业工程学会2011年学术年会论文集[C];2011年
8 梁忠强;迟作强;;基于双目视觉的隧道岩体三维建模与稳定性分析[A];中国公路学会养护与管理分会第八届学术年会论文集[C];2018年
9 张帆;王欣;孙增玉;;基于双目视觉+激光测距融合的空间目标位姿测量方法研究[A];第二届中国空天安全会议论文集[C];2017年
10 李琳琳;李伟伟;王勇;孙玉春;;一种虚拟牙合架系统的研发及其精度初步评价[A];第十二次全国口腔修复学学术会议论文汇编[C];2018年
中国重要报纸全文数据库 前2条
1 刘勇;双目视觉技术:“慧眼”提升航天测量能力[N];中国航天报;2015年
2 记者 夏丹;我省“三名”企业发力中高端[N];浙江日报;2016年
中国博士学位论文全文数据库 前10条
1 张展;基于双目视觉的三维重建关键技术研究[D];中国科学院大学(中国科学院沈阳计算技术研究所);2019年
2 刘同海;基于双目视觉的猪体体尺参数提取算法优化及三维重构[D];中国农业大学;2014年
3 林冬梅;基于双目视觉的脉搏信息及血压波形测量方法研究[D];兰州理工大学;2017年
4 马子昂;基于稀疏学习的视觉目标跟踪[D];浙江大学;2017年
5 邵暖;基于双目视觉的多机器人系统协调跟踪控制研究[D];燕山大学;2015年
6 张远辉;基于实时视觉的乒乓球机器人标定和轨迹跟踪技术研究[D];浙江大学;2009年
7 许杰;基于双目视觉和二维熵树木信息点提取及生长量反演研究[D];东北林业大学;2015年
8 张学贺;基于双目视觉的六足机器人环境地图构建及运动规划研究[D];哈尔滨工业大学;2016年
9 崔彦平;运动目标姿态与速度测量的理论及实验研究[D];天津大学;2007年
10 周佳立;双目立体视觉及三维反求研究[D];浙江大学;2009年
中国硕士学位论文全文数据库 前10条
1 李婵;基于双目视觉的动态异形球体实时检测与定位[D];武汉科技大学;2019年
2 雷雯静;双目视觉在工件识别定位中的应用研究[D];哈尔滨工程大学;2019年
3 袁凯;基于双目视觉图像的检测技术研究[D];哈尔滨工程大学;2018年
4 朱立新;基于双目视觉与条纹反射的类镜面检测技术研究[D];广西师范大学;2019年
5 朱财升;基于双目视觉的立体靶标技术研究[D];湖北工业大学;2015年
6 杨德明;空间金字塔视野扩张网络的双目视觉深度恢复研究[D];郑州轻工业大学;2019年
7 王岚;一种双目视觉测量误差校正技术的研究[D];安徽大学;2019年
8 查长海;异质双目视觉无人生物安全移动实验室多级地图构建[D];浙江大学;2019年
9 杜仁鹏;基于双目视觉的无人驾驶关键技术研究[D];辽宁工业大学;2019年
10 王亚;基于双目视觉的车辆前方运动目标检测与测距技术研究[D];天津理工大学;2019年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026