收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于深度图像和深度学习的机器人抓取检测算法研究

王斌  
【摘要】:针对服务机器人在非结构化工作环境中面对大量未知物体而难以实现有效抓取检测这一问题,本文借鉴深度学习技术在计算机视觉领域获得的巨大成功,对深度神经网络在机器人抓取检测问题上的应用进行了研究。同时,本文使用深度图像作为网络输入以减少彩色图像中物体与背景颜色等因素的影响,从而减少网络的学习难度,进而提高抓取检测算法性能。本论文针对Baxter机器人的抓取算法研究,建立了一套基于Kinect V1深度相机的机器人自动抓取系统,设计了两种基于深度图像与深度神经网络的抓取检测算法,通过实验测试了这两种算法的性能。首先,建立了机器人自动抓取系统的基础框架,对其中的深度相机模块进行了原理介绍,给出了机器人及其可配置平行爪夹具的具体参数,分析了抓取检测算法中抓取的平面以及三维表示,并给出了利用深度神经网络实现抓取检测算法的思路。其次,实现了一种先采样候选抓取,再对候选抓取通过深度神经网络进行评分进而选出最佳抓取的两阶段抓取检测算法。通过设计一种基于夹具宽度与桌面距离的深度图像归一化算法,并利用其对灵活网络(Dexterity Network,Dex-Net)2.0数据集进行处理,得到了可将抓取知识迁移到多种夹具尺寸、相机配置与物体距离情况下的改进Dex-Net 2.0抓取分类数据集。基于抓取质量卷积神经网络(Grasp Quality Convolution Neural Network,GQCNN)的结构,结合改进的数据集的数据格式,设计了改进的抓取质量卷积神经网络。在改进的Dex-Net 2.0抓取分类数据集上训练并验证改进的抓取质量卷积神经网络,取得了 0.889的分类准确率与0.859的平均分类精度。再次,设计了一种从输入深度图像端到端检测可行抓取的单阶段抓取检测算法。通过处理Dex-Net 2.0原始数据集得到了相应的抓取检测标注数据集。基于单阶段目标检测与锚框的思想设计了直接在输入深度图全图上各区域预测多组抓取的抓取检测全卷积神经网络。在抓取检测标注数据集上训练并验证抓取检测全卷积神经网络,取得了 Dice系数为0.52的抓取预测准确率,0.16像素的平均抓取位置预测误差以及5.1度的平均抓取角度预测误差。最后,在仿真与实际环境中测试了算法性能。基于Gazebo搭建了仿真实验环境,在ROS中建立了自动抓取系统,从耶鲁-卡耐基梅隆-伯克利(Yale-CMU-Berkeley,YCB)物体与模型集中收集了用于测试抓取算法性能的测试物体集,在多种相机位姿下测试对比了两阶段与单阶段抓取检测算法的抓取预测准确率与速度,获得了仿真环境下两阶段抓取检测算法79%的平均抓取预测准确率与829ms的平均计算用时,单阶段抓取检测算法88%的平均抓取预测准确率与4ms的平均计算用时。基于Baxter机器人和Kinect V1深度相机建立了实际抓取系统,对深度相机进行了内参标定,对机器人与相机之间的变换关系进行了眼在手外的手眼标定。收集生活中常见的10个物体,基于表现较好的单阶段抓取检测算法进行了实物抓取实验,自动抓取系统对其中9个物体都实现了成功抓取。


知网文化
【相似文献】
中国期刊全文数据库 前13条
1 周自顾;曹杰;郝群;高泽东;肖宇晴;;保留边界特征的深度图像增强算法研究[J];应用光学;2018年02期
2 刘田间;郭连朋;朱禛;赖平;;一种深度图像修复算法研究[J];信息技术;2017年06期
3 钱钧;李良福;周锋飞;王超;邹彬;;基于结构特征引导滤波的深度图像增强算法研究[J];应用光学;2016年02期
4 郑传远;李良福;肖樟树;陆铖;;一种改进的各向异性扩散深度图像增强算法[J];计算机工程与科学;2016年09期
5 吕浩;陈世峰;;基于多方向滤波的强边缘深度图像补全方法[J];集成技术;2016年06期
6 葛利跃;朱令令;张聪炫;陈震;;深度图像优化分层分割的3D场景流估计[J];南昌航空大学学报(自然科学版);2018年02期
7 章勤;虢伟;;基于多幅深度图像的三维重构技术[J];华中科技大学学报(自然科学版);2008年02期
8 杨书焓;谭斌;;深度图像修复算法综述[J];计算机产品与流通;2019年02期
9 李畅;;Kinect设备功能探索[J];数字通信世界;2017年08期
10 孙晓兰;赵慧洁;;基于网格采样的深度图像表面特征提取算法[J];中国图象图形学报;2007年06期
11 刘志芳;毕德学;肖志鹏;安延辉;李振亮;;3D打印深度图像的获取及时空融合处理方法[J];计算机工程与设计;2019年02期
12 李腾飞;刘嘉敏;段勇;;基于窗口滤波与均值滤波的深度图像实时修复算法[J];软件工程;2018年11期
13 孟恬;全红艳;;基于快速行进算法的深度图像增强算法[J];计算机应用与软件;2017年08期
中国重要会议论文全文数据库 前9条
1 刘冰;罗熊;刘华平;孙富春;;光学与深度特征融合在机器人场景定位中的应用[A];2013年中国智能自动化学术会议论文集(第三分册)[C];2013年
2 苑惠娟;于佳;尚爱军;;基于颜色编码的大型物体表面三维测量[A];高精度几何量光电测量与校准技术研讨会论文集[C];2008年
3 江文婷;龚小谨;刘济林;;颜色指导的深度图像升采样算法的对比性研究[A];浙江省信号处理学会2013学术年会论文集——信号处理在海洋[C];2013年
4 王恒;赵亮;;深度图像的平面分割算法[A];第十七届中国遥感大会摘要集[C];2010年
5 危双丰;王晏民;;基于高斯图的距离函数参数化圆柱拟合方法[A];中国测绘学会第九次全国会员代表大会暨学会成立50周年纪念大会论文集[C];2009年
6 张宗华;彭翔;胡小唐;;三维彩色数字成像系统[A];面向制造业的自动化与信息化技术创新设计的基础技术——2001年中国机械工程学会年会暨第九届全国特种加工学术年会论文集[C];2001年
7 魏琳;黄鑫材;;Kinect深度信息的研究及其在检测中的应用[A];浙江省电子学会2013学术年会论文集[C];2013年
8 孙晓兰;赵惠洁;祝世平;;基于深度图像的边缘检测方法研究[A];2004全国光学与光电子学学术研讨会、2005全国光学与光电子学学术研讨会、广西光学学会成立20周年年会论文集[C];2005年
9 杨艳;王晏民;黄明;;基于深度图像的司母戊鼎三维重构及其应用[A];变形与安全监测理论与实践——2014工程测量分会与矿山测量专委会年会论文精选[C];2014年
中国博士学位论文全文数据库 前10条
1 杨莉莉;深度图像的获取与复原算法研究[D];西安电子科技大学;2018年
2 丁益洪;立体足迹三维曲面分割与识别[D];解放军信息工程大学;2005年
3 范涛;基于压缩感知深度图像处理及三维编码系统优化方法[D];上海大学;2017年
4 苗丹;三维视频压缩、传输、渲染相关技术的研究[D];中国科学技术大学;2015年
5 宋希彬;基于RGB-D信息的深度图像增强关键技术研究[D];山东大学;2017年
6 马爽;具有自主发育能力的机器人感知与认知方法研究[D];吉林大学;2016年
7 杜同春;写字机器人感知与推理方法研究[D];哈尔滨工程大学;2017年
8 许小艳;多视点视频中的视图合成[D];重庆大学;2011年
9 丁雅斌;隐式表达三维模型流水线的关键技术研究[D];天津大学;2007年
10 范剑英;结构光深度图像获取和处理与三维重建研究[D];哈尔滨理工大学;2010年
中国硕士学位论文全文数据库 前10条
1 王琳;基于深度图像的肉鸡生长模型拟合方法研究[D];天津科技大学;2017年
2 汪延安;融合深度与彩色信息的行人检测与重识别方法研究[D];华中科技大学;2017年
3 梁晓升;基于混合滤波的深度图像修复算法的研究[D];重庆大学;2018年
4 甘林昊;基于深度边缘判别模型的深度图空洞修复算法研究[D];重庆大学;2018年
5 柏井慧;基于双目RGB-D系统的深度修复研究[D];天津大学;2018年
6 张娇;融合深度信息的行人检测算法研究[D];太原科技大学;2018年
7 王斌;基于深度图像和深度学习的机器人抓取检测算法研究[D];浙江大学;2019年
8 徐清;基于Kinect医学肢体定位方法研究[D];哈尔滨理工大学;2018年
9 王晓梦;基于智能移动设备的三维场景实时重建[D];合肥工业大学;2018年
10 秦颜威;基于深度图像的在线服装定制人体参数获取模型[D];五邑大学;2018年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978