收藏本站
《江苏大学》 2012年
收藏 | 手机打开
二维码
手机客户端打开本文

苹果采摘机器人视觉测量与避障控制研究

吕继东  
【摘要】:苹果采摘机器人是一种具有感知识别能力,能够自动完成苹果果实采摘等作业任务的智能机械收获系统,其作用在于可以降低采摘劳动强度和生产费用、提高作业效率和产品质量、保证果实适时采摘,因此对其相关技术研究具有重大现实意义。我国对采摘机器人的研究起步较晚,由于采摘环境的非结构性和采摘对象的复杂性,其采摘自动化程度仍然很低;且随着人口老龄化和农业劳动力的减少,农业生产成本相应提高,市场竞争力减弱,实现果实的自动化采摘成为一个急需解决的问题。针对这一问题,本文在国家"863"基金项目“果树采摘机器人关键技术研究(2006AA10Z254)”和国家教育部博士点基金项目“果树采摘机械手运动性能优化与灵巧避障控制策略研究(20093227120013)”的资助下,对苹果采摘机器人动静态果实及采摘过程中枝干障碍的视觉测量和避障控制问题进行了研究,主要内容如下: 1、根据开放性设计原则,以视觉系统、感知系统、交流伺服系统和控制系统四个方面构建了苹果采摘机器人的系统结构,其中视觉和感知系统用来感知识别采摘目标及采摘环境;交流伺服系统和控制系统用来负责驱动机械机构安全顺利地采摘果实。这些都为其后续视觉测量和避障控制提供硬件支持和研究基础。 2、介绍了所采用的动静态图像的采集方法;对所采集的苹果图像进行特征分析,以受光线和生长状态的不同将其分类;对图像中的果实、绿叶、枝干和天空在RGB、XYZ、 Lab、HIS、I1I2I3颜色空间下基于不同颜色特征进行了统计,从中可以看出图像中果实、绿叶、枝干和天空的颜色差异,从而为后续基于颜色特征的图像分割提供依据和奠定基础。 3、研究自然环境下静态苹果果实的识别方法。基于颜色特征在不同的颜色空间下比较不同的苹果图像分割方法,通过综合比较确定基于I1I2I3颜色空间下以I2为颜色特征的OTSU动态阈值分割方法;对分割后的图像进行图像完善及噪声去除;建立苹果果实轮廓模型,通过边缘检测和改进的随机Hough变换方法对其进行识别,其中以边缘细化和边缘连接解决边缘检测中边缘不够精细和边缘断裂的情形,而对于重叠和被枝叶严重遮挡的苹果果实,在识别前分别对其进行分离和遮挡修复;最后进行了苹果果实的识别试验。试验结果表明:对于分离无遮挡和重叠苹果果实的识别,所述方法识别率为100%,而对于被枝叶遮挡果实的识别率则高于85%;分离无遮挡苹果果实图像的平均识别时间为0.44s,重叠苹果果实图像的平均识别时间为0.72s,被枝叶严重遮挡苹果果实图像的平均识别时间为0.77s,能够符合采摘机器人实时采摘的需求。此外,本章还研究了适用于苹果采摘机器人目标果实的快速跟踪识别方法。通过基于距离图像中心最近原则来确定要采摘的目标果实;而后利用所采集图像之间的信息关联性,在不断缩小图像处理区域的同时,采用经过加速的去均值归一化积相关模板匹配算法来跟踪识别后帧图像的目标果实;最后进行了不同灰度、亮度和对比度匹配识别以及新旧方法识别时间对比试验,验证了新方法的有效性。 4、针对采摘机器人在快速采摘果实前,需要判别果实的状态以采用相应不同的采摘方法,进行了果实状态判别方法的研究。首先图像分割连续采集的果实图像并从首帧分割图像中以距离图像中心最近原则确定采摘目标果实;然后引入帧间差法对分割后的两帧果实图像进行差分,通过对差分图像进行连通数判别,对振荡果实图像进行质心坐标匹配判别,最终确定目标果实的状态;最后试验表明对采摘环境下所遇到的多数情况,所提出的算法是可行有效的,判别时间少于0.2s。动态果实的识别采用经过改进具有抗旋转性能的去均值归一化积相关模板匹配识别算法,通过试验验证,改进算法在[-55°60°]较大范围内旋转无关,可以准确识别振荡果实,此外加上模板适时更新,能够满足需求。在上述确定采摘果实为振荡果实情况下,为解决由于果实振荡影响采摘机器人采摘效率的问题,提出了一种采摘机器人在果实振荡状况下的快速采摘方法。首先对连续采集图像中振荡果实的二维质心坐标FFT建模,求取果实的振荡周期,在测得振荡果实的深度距离后,计算出采摘机器人直动关节的行程速度,随即开始采摘,抓取时果实正处于平衡位置;最后通过试验可知,采摘成功率达到84%,对于果实静态状况下采摘速度较快的采摘机器人来说,采摘振荡果实,所研究方法明显优于以往采摘方法,能够显著提高采摘机器人果实采摘的整体速度。 5、为了给苹果采摘机器人自动导航和采摘避障提供比较完善的环境信息,对其障碍感知识别进行了研究。首先分析了障碍感知识别的工作流程;然后着重研究了苹果采摘机器人的障碍识别——在讨论比较中确定枝干障碍物最为有效的剥离分割方法,经过形态学闭运算和孔洞填充后,通过骨架化获得枝干的骨架,并采用基于不同模板的小分支去除方法进行了修剪,最终提取出枝干障碍物的主要特征——中轴线;最后分别通过双目和单目视觉实现对树干和树枝障碍的定位。试验结果表明:枝干障碍检出率为95%,识别平均时间不足0.4s;双目测距在500-1500mm范围其误差在20mm以内,单目测距在250-400mm范围其误差在15mm以内。 6、在以上果实及障碍物位置信息确定的基础上,将苹果采摘机器人避障控制明确分为目标搜索避障和目标采摘避障两个部分。设计了目标搜索避障路径,结合苹果采摘机器人小臂上的碰撞传感器来有效感知外部障碍信息,安全搜寻目标果实,避免损害设备。目标采摘避障首先建立了苹果采摘机器人的运动学模型,并对其进行了仿真研究;将采摘环境的可能障碍物等效分类为点、圆和直线形障碍,并对其进行相应的C空间边界特征建模及栅格化,使对机器人的控制直接作用于关节;最后提出了基于树形结构的平滑方向优先路径规划算法,实现了苹果采摘机器人在C空间的局部避障路径规划。试验表明,该方法能够顺利避开障碍物到达目标位置。
【学位授予单位】:江苏大学
【学位级别】:博士
【学位授予年份】:2012
【分类号】:TP242

【参考文献】
中国期刊全文数据库 前10条
1 刘健;张云伟;;基于HSI空间的生长状态下茄子图像的分割方法[J];安徽农业科学;2010年14期
2 韩冰;王永明;;基于一种快速归一化积相关算法的图像匹配研究[J];兵工学报;2010年02期
3 刘旭东,阮秋琦;应用VFW实现视频采集与处理[J];电信工程技术与标准化;2005年02期
4 韩冰;王永明;刘杨;董茜;刘伟卿;;一种基于积分图像的快速归一化积相关算法[J];弹箭与制导学报;2009年05期
5 孙鹤泉,沈永明,王永学,王平让;Hartley变换在互相关分析中应用研究[J];大连理工大学学报;2004年02期
6 于成忠;朱骏;袁晓辉;;基于背景差法的运动目标检测[J];东南大学学报(自然科学版);2005年S2期
7 王芬娥;郭维俊;曹新惠;韩正晟;魏宏安;;甘蓝生产现状及其机械化收获技术研究[J];中国农机化;2009年03期
8 张法全;路立平;沈满德;陈良益;崔光照;;单目视觉目标距离测量方法研究[J];光子学报;2009年02期
9 钱夔;宋爱国;章华涛;熊鹏文;;基于自适应模糊神经网络的机器人路径规划方法[J];东南大学学报(自然科学版);2012年04期
10 韩冰;孙继银;;SURF中快速求取积分图像的直接替换算法[J];弹箭与制导学报;2011年03期
中国博士学位论文全文数据库 前1条
1 王勇;棉花收获机器人视觉系统的研究[D];南京农业大学;2007年
中国硕士学位论文全文数据库 前6条
1 刘德坤;基于哈特莱变换的快速模板互相关算法设计[D];华中科技大学;2011年
2 赵惠玲;基于小波和FFT的电网谐波实时检测系统的研究[D];西安工业大学;2012年
3 戈志勇;番茄采摘机械手运动学仿真与避障算法研究[D];江苏大学;2007年
4 李玉良;基于立体视觉的遮挡柑橘识别与空间匹配研究[D];江苏大学;2007年
5 王津京;基于支持向量机苹果采摘机器人视觉系统的研究[D];江苏大学;2009年
6 徐凌桦;轮式移动机器人复杂控制与研究[D];贵州大学;2009年
【共引文献】
中国期刊全文数据库 前10条
1 肇梦佳;程乃伟;;基于可视监控的入侵识别方法研究[J];安防科技;2010年09期
2 温效朔;;机器人技术在农业上的开发与应用现状[J];安徽农业科学;2007年11期
3 赵晓霞;陈兵旗;张铁中;乔军;;类圆果实图像的分离测量算法研究[J];安徽农业科学;2008年19期
4 王辉;程雪;李玉霞;;农业机器人应用进展初探[J];安徽农业科学;2009年16期
5 程刚;郑小华;阳锋;徐祖舰;;三维全景视觉技术在农业机器人中的应用[J];安徽农业科学;2010年34期
6 石雪强;程新文;李春福;宁亚飞;杨程永;杨翠莲;;自然环境下苹果彩色图像分割研究[J];安徽农业科学;2011年30期
7 王会英;;番茄采摘过程的视觉系统识别方法研究[J];安徽农业科学;2012年15期
8 蔡健荣;加工工艺对茶叶颜色影响的测定[J];安徽农业科学;1998年02期
9 李明权;梁尧;蒙天海;;农林抗旱保水剂在茶树栽培中的应用研究[J];现代农业科技;2011年13期
10 邓辉斌;熊邦书;欧巧凤;;基于隔帧差分区域光流法的运动目标检测[J];半导体光电;2009年02期
中国重要会议论文全文数据库 前10条
1 王彬;张云生;熊新;王帅;;工业硬实时控制嵌入式软件设计中的时间触发构架(TTA)机制[A];第二十六届中国控制会议论文集[C];2007年
2 ;A Floyd-like Algorithm for Optimization of Mix-Valued Logical Control Networks[A];中国自动化学会控制理论专业委员会B卷[C];2011年
3 ;An Efficient Route Computation Approach for Large Graphs[A];中国自动化学会控制理论专业委员会C卷[C];2011年
4 郭炜强;燕飞;黄儒乐;韩宁;;基于视频图像的森林火灾烟雾识别方法[A];第九届全国信息获取与处理学术会议论文集Ⅱ[C];2011年
5 赵德安;吕继东;姬伟;陈玉;张颖;;果树采摘机器人及控制系统研制[A];中国农业工程学会2011年学术年会论文集[C];2011年
6 周成;陈海涛;李丽霞;;结球甘蓝特性及收获机械研究现状[A];中国农业工程学会2011年学术年会论文集[C];2011年
7 高晓阳;王泽京;毕阳;张明艳;李红岭;孔彦龙;毛红玉;;基于单片机和机器视觉的马铃薯品质分级研究[A];中国农业工程学会2011年学术年会论文集[C];2011年
8 黄跃峰;钟耳顺;;权值为非负整数的稀疏图的高效APSP算法(英文)[A];中国测绘学会第九次全国会员代表大会暨学会成立50周年纪念大会论文集[C];2009年
9 ;Crustal P-wave velocity distributions and metallotectonics around the North China Craton[A];中国科学院地质与地球物理研究所2007学术论文汇编(第四卷)[C];2008年
10 ;Fuzzy Quadratic Minimum Spanning Tree Problem[A];第二届不确定系统年会论文集[C];2004年
中国博士学位论文全文数据库 前10条
1 窦亚玲;基于直觉模糊集的多约束网络路由决策方法研究[D];华中科技大学;2010年
2 唐玉兰;伪布尔可满足性算法及其在FPGA布线中的研究应用[D];江南大学;2010年
3 潘放;通航桥梁船撞风险分析与规避措施研究与应用[D];华南理工大学;2010年
4 刘继展;番茄采摘机器人真空吸持系统分析与优化控制研究[D];江苏大学;2010年
5 王晓松;复杂背景下树木图像提取研究[D];北京林业大学;2010年
6 冯辰;基于压缩感知的RSS室内定位系统的研究与实现[D];北京交通大学;2011年
7 王姝;名空间路由研究和源管理路由算法的分析与建模[D];北京交通大学;2011年
8 鹿瑞;自然图像的颜色恒常性计算研究[D];北京交通大学;2010年
9 王铁军;非结构化对等网络资源定位技术研究[D];电子科技大学;2010年
10 桑永胜;空间数据分析的神经计算方法[D];电子科技大学;2010年
中国硕士学位论文全文数据库 前10条
1 曾传华;基于颜色和纹理特征的竹条分级方法研究[D];华中农业大学;2010年
2 纪江涛;基于传感器网络的智能交通系统模型应用研究[D];山东科技大学;2010年
3 李志欣;智能轮式移动机器人的控制系统设计[D];辽宁师范大学;2010年
4 肖荣;实时控制系统软件开发架构设计研究及其应用[D];浙江理工大学;2010年
5 牛文娟;基于图像处理的烟叶分级研究[D];郑州大学;2010年
6 冯雪松;黑龙江省交通GIS综合管理系统的设计与实现[D];哈尔滨工程大学;2010年
7 杨华;基于FPGA的测频技术研究[D];哈尔滨工程大学;2010年
8 王文龙;柴油发电机组双机并车实验台的设计与实验研究[D];哈尔滨工程大学;2010年
9 曹晖;运动多目标检测与跟踪算法研究[D];哈尔滨工程大学;2010年
10 张玉院;移动式起重机无碰撞路径规划的设计与实现[D];大连理工大学;2010年
【二级参考文献】
中国期刊全文数据库 前10条
1 傅宇;;机器视觉技术在农业生产自动化领域中应用研究[J];安徽农业科学;2006年15期
2 温效朔;;机器人技术在农业上的开发与应用现状[J];安徽农业科学;2007年11期
3 邵刚;毛罕平;;农业机械机器视觉导航研究进展[J];安徽农业科学;2007年14期
4 薛金林;徐丽明;;多功能农业机器人及其关键技术分析[J];安徽农业科学;2009年15期
5 王辉;程雪;李玉霞;;农业机器人应用进展初探[J];安徽农业科学;2009年16期
6 王岩松,阮秋琦;一种基于互相关的图像定位匹配算法研究及应用[J];北方交通大学学报;2002年02期
7 王静;毛飞;霍学喜;;陕西四个苹果基地县果农生产效率调查分析[J];北方园艺;2010年03期
8 李成国;牟善祥;张忠传;;毫米波抛物面多波束天线分析与设计[J];兵工学报;2008年03期
9 段俐,康琦,申功;PIV技术的粒子图像处理方法[J];北京航空航天大学学报;2000年01期
10 代钦,魏润杰,黄湛,申功炘;超音速喷流DPIV瞬时速度场实验测量[J];北京航空航天大学学报;2001年06期
中国重要报纸全文数据库 前1条
1 胡鞍钢 郑京海;[N];中国经济时报;2004年
中国博士学位论文全文数据库 前3条
1 周俊;农用轮式移动机器人视觉导航系统的研究[D];南京农业大学;2003年
2 鲍官军;气动柔性驱动器FPA的特性及其在多指灵巧手设计中的应用研究[D];浙江工业大学;2006年
3 饶秀勤;基于机器视觉的水果品质实时检测与分级生产线的关键技术研究[D];浙江大学;2007年
中国硕士学位论文全文数据库 前10条
1 陈刚;新型弯曲关节及其多关节手指的控制策略研究[D];浙江工业大学;2003年
2 刘洪霞;番茄自动收获中目标识别的一种简便算法[D];江苏大学;2003年
3 宋长波;基于线特征的立体视觉匹配研究[D];武汉大学;2004年
4 陈利兵;草莓收获机器人采摘系统研究[D];中国农业大学;2005年
5 林伟明;收获机器人成熟番茄视觉识别技术研究[D];江苏大学;2005年
6 韩锐;未知环境下基于SLAM的移动机器人导航算法研究[D];武汉理工大学;2006年
7 杨文亮;苹果采摘机器人机械手结构设计与分析[D];江苏大学;2009年
8 赵庆波;果树采摘机器人控制与避障技术研究[D];江苏大学;2008年
9 陈贤巧;基于特征的图像配准算法研究[D];中国科学技术大学;2009年
10 郭飞飞;基于特征点的图像配准方法及其应用[D];重庆大学;2010年
【相似文献】
中国期刊全文数据库 前10条
1 ;“黄瓜采摘机器人关键技术研究”通过教育部成果鉴定[J];农业工程技术(温室园艺);2011年03期
2 ;采摘机器人可从源头上解决我国棉花采摘质量问题[J];科技传播;2011年18期
3 林伟;;西红柿采摘机器人[J];南方农机;2009年03期
4 宋健;孙学岩;张铁中;张宾;;茄子采摘机器人机械传动系统设计与开发[J];机械传动;2009年05期
5 杨宝珍;安龙哲;李会荣;;农业机器人的应用及发展[J];农机使用与维修;2008年06期
6 鲍官军;荀一;戚利勇;杨庆华;高峰;;机器视觉在黄瓜采摘机器人中的应用研究[J];浙江工业大学学报;2010年01期
7 居洪玲;姬长英;;一种多用途采摘机器人末端执行器的设计[J];浙江农业学报;2010年03期
8 陈天宏;崔天时;李广军;;基于遗传算法的采摘机器人轨迹规划[J];农机化研究;2010年08期
9 孙学岩;;采摘机器人单摄像机测距系统设计与实验[J];传感器与微系统;2010年03期
10 张志勇;何东健;张建锋;黄铝文;姬红卫;;苹果采摘机器人手臂控制研究[J];中国农业大学学报;2008年02期
中国重要会议论文全文数据库 前10条
1 赵德安;姬伟;张超;李占坤;;果树采摘机器人控制系统设计[A];中国农业工程学会电气信息与自动化专业委员会、中国电机工程学会农村电气化分会科技与教育专委会2010年学术年会论文摘要[C];2010年
2 魏锡光;王库;;仿自然环境条件下番茄采摘机器人设计研究[A];中国农业工程学会电气信息与自动化专业委员会、中国电机工程学会农村电气化分会科技与教育专委会2010年学术年会论文摘要[C];2010年
3 赵德安;吕继东;姬伟;陈玉;张颖;;果树采摘机器人及控制系统研制[A];中国农业工程学会2011年学术年会论文集[C];2011年
4 刘继展;李萍萍;李智国;倪齐;;番茄采摘机器人真空吸盘装置设计及试验研究[A];纪念中国农业工程学会成立30周年暨中国农业工程学会2009年学术年会(CSAE 2009)论文集[C];2009年
5 崔天时;陈天宏;;基于遗传算法的采摘机器人轨迹规划[A];黑龙江省农业工程学会2011学术年会论文集[C];2011年
6 任雯;刘刚;冯娟;;采摘机器人的三维视觉系统设计与试验[A];中国农业工程学会2011年学术年会论文集[C];2011年
7 张亚静;乔军;刘刚;李民赞;;水果采摘机器人视觉系统的发展现状研究[A];2007年中国农业工程学会学术年会论文摘要集[C];2007年
8 高瑞;刘刚;司永胜;刘兆祥;;苹果采摘机器人视觉系统研究[A];纪念中国农业工程学会成立30周年暨中国农业工程学会2009年学术年会(CSAE 2009)论文集[C];2009年
9 屠珺;刘成良;李彦明;周俊;;基于光照不变图的苹果识别方法[A];中国农业工程学会电气信息与自动化专业委员会、中国电机工程学会农村电气化分会科技与教育专委会2010年学术年会论文摘要[C];2010年
10 张殿明;时会美;;农业自动化领域中的机器人技术[A];Proceedings of 2010 National Vocational Education of Communications and Information Technology Conference (2010 NVCIC)[C];2010年
中国重要报纸全文数据库 前5条
1 本报记者 段佳;果蔬采摘机器人有了三维视力[N];大众科技报;2009年
2 本报记者 冯华;当农业插上信息化的翅膀[N];人民日报;2010年
3 本报记者 吴佩;机器人摘棉花可以识别好与坏[N];农民日报;2011年
4 记者王华楠;果蔬无损抓取有创新[N];中国技术市场报;2010年
5 杨雪 杨鸿博 何苗 实习记者 康毅夫 通讯员 范大年;中国农业大学工学院:新中国农业工程和农机化教学研究领域的奠基者与开拓者[N];中国农机化导报;2011年
中国博士学位论文全文数据库 前10条
1 刘继展;番茄采摘机器人真空吸持系统分析与优化控制研究[D];江苏大学;2010年
2 吕继东;苹果采摘机器人视觉测量与避障控制研究[D];江苏大学;2012年
3 纪超;温室果蔬采摘机器人视觉信息获取方法及样机系统研究[D];中国农业大学;2014年
4 顾宝兴;智能移动式水果采摘机器人系统的研究[D];南京农业大学;2012年
5 戚利勇;黄瓜采摘机器人视觉关键技术及系统研究[D];浙江工业大学;2011年
6 黄铝文;苹果采摘机器人视觉识别与路径规划方法研究[D];西北农林科技大学;2013年
7 韩非;蓝莓机器视觉识别与标定技术研究[D];东北林业大学;2011年
8 李智国;基于番茄生物力学特性的采摘机器人抓取损伤研究[D];江苏大学;2011年
9 王辉;机器视觉技术在果园自动化中的应用研究[D];中国农业机械化科学研究院;2011年
10 钱少明;基于FPA的多指机械手及其在果实采摘中的应用研究[D];浙江工业大学;2012年
中国硕士学位论文全文数据库 前10条
1 马强;苹果采摘机器人关键技术研究[D];中国农业机械化科学研究院;2012年
2 王韧;农业采摘机器人机械臂结构设计与分析[D];湖南农业大学;2010年
3 陈天宏;双目采摘机器人路径优化设计的研究[D];东北农业大学;2010年
4 姜涛;基于流处理器的采摘机器人图像加速系统研究[D];昆明理工大学;2010年
5 张高阳;基于位姿的苹果采摘机器人抓取研究[D];南京农业大学;2011年
6 高凤;名优茶并联采摘机器人结构设计与仿真[D];南京林业大学;2013年
7 苏帅;猕猴桃采摘机器人信息感知的基础研究[D];西北农林科技大学;2013年
8 刘健;基于视觉的茄子采摘机器人目标识别研究[D];昆明理工大学;2010年
9 张水波;柑橘采摘机器人末端执行器研究[D];浙江工业大学;2011年
10 崔鹏;苹果采摘机器人末端执行器的设计研究[D];中国农业机械化科学研究院;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026