茄子收获机器人视觉系统和机械臂避障规划研究

论文摘要

茄子作为人们生活中常见的蔬菜,在我国大江南北都有广泛的种植。本文以苏皖一带常见的自然生长的长紫茄为研究对象,以实现成熟茄子自动识别、定位和机械臂避障路径规划为研究目的。完成的主要工作有:1根据自然生长茄子图像的灰度和颜色特点,在RGB中,对6种色差组合进行分析,发现目标和背景的R-B、G-B和G-R差别较大;在HSI空间中,H通道的目标和背景有明显差别。因此,在阈值分割中,采用基于遗传算法的自动选取阈值法（Otsu法）对图像进行分割;在去除残留噪音的处理中,采用标注的方法对二值图像的各连通区域进行面积统计。保留最大面积的区域,从而使分割效果大大改善。利用多参数来衡量分割效果,使评价尽可能地做到客观、合理。2尽管单一阈值法对茄子图像分割能取得一定效果,但依然存在较大的残留噪音。在分析茄子图像色差和色调的基础上,选取R-B、G-B和H作为自组织特征映射网络（SOFM）的输入特征向量,利用该网络自组织学习的特征进行聚类;采用信噪比、面积比、分割时间和傅立叶边界描述子等指标来评价分割精度;并据此确定了SOFM网络的输入特征向量的个数、输出神经元个数、训练步数、拓扑函数、距离函数、学习函数等参数。使用傅立叶描述子的能量谱值来评价分割边缘的相似程度,克服了其他边缘描述子依赖边缘点的个数和起始位置等限制。实验证明,基于SOFM神经网络图像分割评价优于单一阈值分割,适合复杂背景的彩色图像分割。3提出了一种基于改进型广义Hough变换的空间有部分遮挡的茄子目标识别方法。用广义柱近似描述样本茄子形状;在描述茄子空间位姿的6个参数中,选择两个位置参数和一个旋转参数等3个主要参数;通过坐标转换获得了不同位姿的立体目标在平面上的投影边缘。将缩放、旋转等运算提前于参数表制作阶段进行,采用了“形状相似度”的方法初选缩放索引和旋转索引,有效降低了搜索时间,提高了搜索精度;建立茄子外形的4维参数索引表;适当提高梯度索引步长,可避免参考点在累加器中的排布过于分散,便于从潜在参考点中找出最终参考点坐标;采用改进型的广义Hough变换计算茄子目标的潜在位置,并通过比较各旋转角度下的“面积比”,筛选出目标实际的位姿。实验表明:改进型广义Hough变换对空间不同位姿、部分遮挡情况下目标的识别具有良好的效果。4根据针孔透视模型,采用了一种平面标定法,对摄像机模型进行分析和标定。左右摄像机标定过程中,利用最小二乘法标定了摄像机的内外参数;结合实验室已有的实验条件,选用平行式的双目立体视觉;根据自然环境中茄子生长的特征,提出了一种基线选择的方法,并在此基础上,通过实验确定两摄像机的合理基线距离2a应大于132mm,合理的测量深度范围z应在[700,1200]mm之间;根据左右摄像机内外参数,对摄像机的位姿进行调节,使之满足Marr约束4;通过对内外参数的求取和基线的选择,建立了茄子收获机器人的双目立体系统;选择目标的形心作为特征匹配点。在此条件下,其测量相对误差可控制在2%以内,能够满足在农业环境里机械手作业要求。5提出了一种机械臂在三维空间的避障方法。将空间障碍物等效为可以用数学建模的轴截面为圆或矩形的圆柱扇环,将三维空间的路径规划简化为二维,提高了控制的实时性;将障碍物等效从工作空间转换到C-空间中,使对机器人的控制直接作用于关节,避免了使用雅克比矩阵的逆阵进行复杂的坐标转换;将C-空间映射到图像矩阵中,通过对图像进行适当的处理,规避了在使用A*算法寻优时可能出现的失败。实验表明,该避障路径规划方法计算量小,实时性好,适合自然生长状态下的茄子自动收获。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 课题研究背景及意义
• 1.2 果蔬收获机器人的特点和发展现状
• 1.3 果蔬收获机器人关键技术的研究
• 1.3.1 行走装置
• 1.3.2 机械手
• 1.3.3 视觉系统
• 1.3.4 末端执行器
• 1.3.5 作物种植模式
• 1.4 课题研究的主要内容
• 1.4.1 研究目的
• 1.4.2 主要研究内容
• 1.4.3 技术路线
• 参考文献
• 第二章 基于颜色分析的茄子图像分割方法
• 2.1 图像采集
• 2.2 茄子图像分析
• 2.2.1 基于RGB色彩空间的茄子图像分析
• 2.2.2 基于HSI色彩空间的茄子图像分析
• 2.3 基于遗传算法的分割阈值自动选取
• 2.4 分割结果及评价
• 2.4.1 滤除残留噪音
• 2.4.2 分割边缘的平滑
• 2.4.3 不同分割方法的分割效果评价
• 2.4.4 综合评价
• 2.5 本章小结
• 参考文献
• 第三章 基于SOFM神经网络的茄子图像分割方法
• 3.1 SOFM网络概述
• 3.1.1 SOFM网络思想
• 3.1.2 SOFM网络结构
• 3.1.3 SOFM网络学习算法
• 3.2 茄子图像分割的SOFM网络设计
• 3.2.1 输入特征向量的确定
• 3.2.2 输出神经元个数的确定
• 3.2.3 训练步数的确定
• 3.2.4 确定邻域关系
• 3.2.5 确定学习函数
• 3.2.6 网络训练和检验
• 3.3 聚类图像的后续处理
• 3.4 分割效果评价
• 3.5 本章小结
• 参考文献
• 第四章 广义Hough变换在识别部分遮挡茄子中的应用
• 4.1 广义Hough变换简介
• 4.1.1 Hough变换中的图像空间和参数空间
• 4.1.2 Hough变换算法
• 4.1.3 Hough变换优点
• 4.1.4 广义Hough变换算法
• 4.2 茄子三维表达方法和二维投影轮廓的计算
• 4.2.1 用广义柱描述茄子3D形状
• 4.2.2 用2D边缘描述3D任意形态的茄子
• 4.3 样本茄子形状参数表的制作
• c,y_c）的选取'>4.3.1 参考点（x_c,y_c）的选取
• k的确定'>4.3.2 旋转角度索引a_k的确定
• l的确定'>4.3.3 边缘梯度角索引θ_l的确定
• i和φ_i的计算'>4.3.4 特征向量r_i和φ_i的计算
• 4.4 广义Hough变换在识别立体遮挡茄子目标中的算法
• 4.5 实验结果和分析
• 4.5.1 实验1
• 4.5.2 实验2
• 4.5.3 实验总结与讨论
• 4.6 本章小结
• 参考文献
• 第五章 摄像机标定和双目立体视觉系统的建立
• 5.1 实验仪器
• 5.2 摄像机标定算法
• 5.2.1 摄像机参考坐标系
• 5.2.2 坐标系之间的线性关系
• 5.2.3 自标定算法
• 5.2.4 摄像机镜头畸变模型
• 5.3 摄像机内参数标定实验
• 5.3.1 摄像机标定技术流程
• 5.3.2 内参数标定实验结果分析
• 5.4 茄子收获机器人双目视觉系统的建立
• 5.4.1 双目视觉原理
• 5.4.2 双目立体视觉图像匹配的约束条件
• 5.4.3 基线的选取
• 5.4.4 摄像机外参数标定
• 5.5 深度信息恢复实验
• 5.6 本章小结
• 参考文献
• 第六章 茄子目标位姿信息的获取
• 6.1 实验说明
• 6.2 茄子图像分割
• 6.2.1 茄子图像预处理
• 6.2.2 Marr约束讨论
• 6.2.3 用已知形心特征还原深度信息
• 6.3 改进型广义Hough变换求图像形心
• 6.3.1 茄子形状2D投影图
• 6.3.2 制作茄子形状参数表
• 6.3.3 缩放系数λ和旋转角度a初定
• 6.3.4 改进型广义Hough变换求取参考点坐标
• 6.3.5 改进型广义Hough变换结果分析
• 6.4 目标位姿信息的获取
• 6.4.1 目标三维坐标的求法
• 6.4.2 夹持器翻转角度、张开行程以及目标剪切点的求法
• 6.5 图形用户界面的设计
• 6.6 本章小结
• 参考文献
• 第七章 机械臂避障路径规划
• 7.1 机构选型和正运动学方程建立
• 7.1.1 机构选型
• 7.1.2 建立正运动学方程
• 7.2 空间障碍物简化建模
• 7.3 障碍物C-空间计算
• 7.3.1 结构空间简介
• 7.3.2 障碍物C-空间算法
• *算法的避障规划'>7.4 基于A^*算法的避障规划
• 7.4.1 A搜索算法
• *算法'>7.4.2 A^*算法
• *算法在本文的应用'>7.4.3 A^*算法在本文的应用
• 7.5 避障实验和分析
• 7.5.1 实验说明
• 7.5.2 实验步骤
• 7.5.3 实验效果检验
• 7.5.4 实验分析
• 7.6 本章小结
• 参考文献
• 第八章 结论和展望
• 8.1 研究结论
• 8.2 主要创新内容
• 8.3 对后续研究工作的建议
• 附录
• 攻读博士学位期间发表的论文
• 致谢