基于四自由度西红柿采摘机器人视觉系统的研究

论文摘要

西红柿在我国的种植范围几乎覆盖全国,种植面积居世界前列,其采摘是劳动密集型作业。人工采摘西红柿,成本高、时间长、且质量难以保证,很难适应规模化、工厂化种植发展的需要,因此西红柿自动化采摘是一个急需解决的问题。果实的识别、定位是机器人实现采摘动作的前提,而这些功能的实现又依赖于其视觉系统。利用视觉系统对自然场景下的果实进行识别、定位是实现机器人自动化采摘的重要一步,因此视觉系统的研究对于实现自动化采摘具有极大的意义。本文基于项目组研制开发的四自由度西红柿采摘机器人,研究开发了适宜于该机器人的视觉系统,其内容主要包括:对现有的西红柿栽培模式、生长特性及西红柿成熟过程中色彩变化与果实成熟度的关系进行了研究。在此基础上,搭建了西红柿采摘机器人视觉系统的硬件和软件平台,进行了该系统软件结构的设计。设计开发了适宜于四自由度西红柿采摘机器人视觉的图像实时采集系统。本文通过USB接口将摄像头与主机连接,进行图像实时采集,基于VFW技术利用VisualC++6.0编辑软件进行图像采集系统的软件开发。试验可得,该系统采集效果较好,并一定程度上提高了图像采集的灵活性,降低了成本。首次根据采摘要求对不同成熟期的西红柿果实进行识别。通过对图像中采摘西红柿与背景色彩分量的分布统计分析,获取了有效分割采摘物与背景的颜色指标。提出彩色图像的等尺度灰度化法,将彩色图像的分割转化为灰度图像的分割,经试验可知灰度化后的图像较好地保留了彩色图像中色彩指标差异的信息,从而简化了图像分割及处理的难度,提高了处理速度。采用阈值分割方法进行图像分割,确定了最佳的分割算法与色彩指标的组合,提出采用门限Otsu法对原有Otsu法进行了改进。本文最终确定当采摘西红柿为成熟果时,选择基于OUTI2颜色指标的门限Otsu法进行图像分割,其门限值为T=115;当采摘对象为绿熟果时,选择基于OUTH颜色指标的门限Otsu法进行图像分割,其门限值为T=50。通过对采摘西红柿形状特征的研究分析结合本课题的实际需要,确定了采摘对象所需的形状特征量,并完成了相关特征量的求取。采用行程标记算法对分割后的图像中的目标进行标记,搜索方向旋转法进行目标轮廓跟踪。对分割后的图像依次进行形态学处理、果实目标提取、果实目标区域填充,逐步去除图像中的干扰,获取较为完整的西红柿轮廓。在采摘西红柿质心确定中,提出将识别后图像中的果实单个提取,再依据果实外形轮廓是否完整,分别采用中心矩法及基于几何学原理的方法进行质心提取。针对课题任务要求及双目视觉系统的特点,结合实验室现有条件,实现了一种内外参数分离的平面模板标定方法。通过平面模板进行摄像头的标定,获取摄像头的内外参数,在此基础上对摄像头进行了畸变补偿的非线性优化,利用Levenberg-Marquardt迭代优化算法获取最终优化参数,并对摄像头进行了双目立体标定。通过对四自由度西红柿采摘机器人的采摘空间的分析,提出并建立了视觉系统识别定位的视野范围、双目视觉系统中左右摄像头基线取值范围与机器人采摘空间的相互关系。提出了一种基于西红柿质心特征并辅以极线约束、唯一性约束及视差梯度范围约束的匹配方法来实现果实目标的匹配。利用平行双目立体视觉模型进行采摘西红柿质心的三维重建,获取质心空间坐标,并通过摄像头坐标系与机器人坐标系相互转换关系的研究,确定采摘西红柿质心在机器人坐标系中的空间坐标。采用面向对象的程序设计方法,研制开发了适宜于四自由度西红柿采摘机器人的视觉系统。并在实验室的环境下对该视觉系统进行了测试,对识别、定位中误差产生的原因进行了相关分析。测试结果表明,成熟果的识别可以达到98%,绿熟果的识别可达89%,定位误差可控制在15mm以内,其识别及定位效果均能满足四自由度西红柿采摘机器人的工作要求。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 课题研究的目的及意义
• 1.2 农业生产中机器视觉技术的研究现状
• 1.2.1 国外研究现状
• 1.2.2 国内研究现状
• 1.2.3 国内西红柿采摘机器人视觉系统的研究现状
• 1.3 机器人视觉技术的相关理论及技术
• 1.3.1 数字图像的获取方法
• 1.3.2 Marr视觉理论
• 1.3.3 立体视觉技术
• 1.4 主要研究内容
• 2 西红柿采摘机器人视觉系统的总体设计
• 2.1 视觉系统的研究基础
• 2.2 西红柿栽培模式及生长特性
• 2.2.1 田间西红柿栽培模式
• 2.2.2 西红柿成熟过程中色彩的变化
• 2.2.3 西红柿病害引起的色彩变化
• 2.3 西红柿采摘视觉系统的总体设计
• 2.3.1 视觉系统设计的要求
• 2.3.2 视觉系统的方案选择
• 2.3.3 硬件系统的组成
• 2.3.4 软件系统的设计
• 2.3.5 云台
• 2.4 本章小结
• 3 田间西红柿图像实时采集系统的开发
• 3.1 图像实时采集方案的确定
• 3.2 采集系统的硬件组成
• 3.3 实时采集系统的软件开发
• 3.3.1 VFW（Video For Windows）采集方法
• 3.3.2 基于VFW实时采集系统的开发
• 3.3.3 实时采集系统的界面及采集效果
• 3.4 本章小结
• 4 西红柿采摘视觉系统果实识别的研究
• 4.1 西红柿采摘期的确定
• 4.2 视觉系统的彩色空间选择
• 4.2.1 常用彩色空间及其相互转换
• 4.2.2 田间西红柿图像中颜色特征量的统计
• 4.2.3 统计结果分析
• 4.3 彩色图像处理
• 4.3.1 彩色图像的等尺度灰度化
• 4.3.2 图像预处理
• 4.4 不同采摘期西红柿图像分割算法的研究
• 4.4.1 分割方法的初步选取及程序实现
• 4.4.2 颜色指标初始阈值的确定
• 4.4.3 不同分割方法的分割效果比较试验
• 4.4.4 试验结果分析
• 4.4.5 Otsu分割方法的改进
• 4.5 采摘西红柿果实形状特征量的求取
• 4.5.1 果实形状特征量的选取
• 4.5.2 果实目标区域标记及轮廓跟踪
• 4.5.3 果实形状特征量的计算
• 4.6 采摘西红柿目标的提取及完善
• 4.6.1 果实目标的数学形态学方法处理
• 4.6.2 果实目标的提取
• 4.6.3 果实目标的区域填充
• 4.7 采摘西红柿质心确定
• 4.7.1 西红柿果实目标的分离
• 4.7.2 西红柿果实目标的质心获取
• 4.8 本章小结
• 5 双目立体视觉系统的摄像头标定
• 5.1 摄像机标定技术
• 5.1.1 传统标定技术
• 5.1.2 自标定技术
• 5.2 视觉系统摄像头标定方法的确定
• 5.3 摄像头标定相关坐标系及几何模型的建立
• 5.3.1 摄像头标定中坐标系的建立
• 5.3.2 摄像头标定的成像几何模型
• 5.4 视觉系统的摄像头标定
• 5.4.1 标定装置的硬件组成
• 5.4.2 摄像头投影矩阵M的标定
• 5.4.3 摄像头内外参数的求取
• 5.4.4 摄像头标定的程序实现
• 5.4.5 摄像头的畸变校正及参数优化
• 5.4.6 单个摄像头标定结果检验
• 5.5 摄像头的双目立体标定
• 5.6 本章小结
• 6 西红柿采摘双目立体视觉系统的三维重建
• 6.1 视觉系统工作范围的确定
• 6.2 双目立体视觉系统的立体匹配
• 6.2.1 立体匹配的内容
• 6.2.2 立体匹配的方法
• 6.3 采摘西红柿特征点的匹配试验
• 6.3.1 极线约束方程的确立
• 6.3.2 唯一性约束
• 6.3.3 视差梯度范围约束
• 6.3.4 匹配算法的实现及匹配试验效果
• 6.4 采摘西红柿空间位置的确定
• 6.4.1 双目立体视觉模型
• 6.4.2 空间点的三维重建
• 6.4.3 采摘西红柿空间位置计算
• 6.4.4 摄像头坐标系与机器人坐标系的转换
• 6.5 本章小结
• 7 西红柿采摘机器人视觉系统的性能测试
• 7.1 软件系统的功能及界面设计
• 7.2 视觉系统的性能测试
• 7.2.1 视觉系统识别性能测试
• 7.2.2 视觉系统定位精度测试
• 7.3 分析与讨论
• 7.3.1 识别效果的分析
• 7.3.2 定位误差的分析
• 7.4 本章小结
• 8 结论与建议
• 8.1 研究内容及结论
• 8.2 本文的创新点
• 8.3 存在的问题和建议
• 参考文献
• 附录
• 致谢
• 攻读博士期间发表的论文