答辩博士：江自真
指导老师：周 俊教授
论文题目:苹果采摘机器人视觉定位及控制系统关键技术研究
答辩委员会：
主席：
何瑞银 教授/博导 南京农业大学
委员：
赵 湛 研究员/博导江苏大学
蔡国芳 研究员江苏省农机具开发应用中心
陈坤杰 教授/博导 南京农业大学
郑恩来 教授/博导 南京农业大学
秘书：
顾宝兴 南京农业大学
答辩时间：2025年5月24日14:00
答辩地点：滨江校区工学院B442
论文简介：
苹果是我国广泛种植的高值化农业产品之一，其采摘过程是典型的劳动密集型作业。然而，随着劳动力人口的缩减，苹果采摘面临着从业者严重不足的挑战，亟需借助机器人技术实现自动化采摘。目前苹果采摘机器人研究已取得一定进展，但基于视觉的果实准确定位仍是亟待解决的关键问题。首先，由于自然光照变化、果实重叠和被遮挡等因素的存在，使得现有的视觉定位系统难以应对如此复杂的果园环境。其次，普遍采用的单视角感知方式无法满足快速发展的多臂采摘机器人对大范围全局果实分布信息的感知需求。此外，当前研究主要集中在视觉设备坐标系中进行果实定位信息的描述，而高效的开环作业策略需要将果实定位信息准确地映射到机器人坐标系。因此，本研究围绕当前果实视觉定位中存在的相关问题展开研究，并针对研制的苹果采摘机器人样机设计了采摘机构的控制系统。主要研究内容及结论如下：
（1） 果实识别是其准确定位的前提条件。考虑到深度学习方法在果实识别应用中具有较高的准确性和鲁棒性，同时为了简化部署过程，本研究将Detectron2库中封装的Mask R-CNN-based实例分割算法应用于苹果采摘机器人的定位系统，以实现果实的准确识别。进一步，通过对比分析使用不同网络模型的Mask R-CNN-based算法在测试集上的表现，结果表明，基于ResNet-50-FPN-3x预训练模型所训练出的网络在识别精度和处理效率等方面均具有显著优势。具体而言，相较于ResNet-101-FPN-3x模型，基于ResNet-50-FPN-3x模型的网络在识别平均精度上提高了0.3%，单幅图像的平均识别耗时减少了21.3%，更符合苹果采摘机器人的应用需求。
（2） 针对果园环境下果实重叠和光照变化等因素带入的难滤除点云噪声，导致直接利用点云进行定位的精度不足问题，提出一种基于随机采样一致性（Random Sample Consensus，RANSAC）拟合点云去噪的果实准确定位方法。该方法通过RANSAC拟合算法从预处理后的果实点云中进一步去除难滤除的点云噪声。在此基础上，使用最小二乘法对去噪后的点云进行球面拟合得到球心坐标作为果实位置，并结合实例分割算法生成的二值化掩膜图像的质心三维坐标，构造接近向量作为果实姿态，以完成果实的准确定位。自然光照下重叠果实点云去噪试验表明，本研究提出的方法能够有效滤除目标果实中难滤除的点云噪声。定位方法评估试验结果显示，在室外仿果园环境下，采用所提的定位方法，果实定位精度可达到14.0 mm，且整体定位耗时不超过1.0 s；与对照方法相比，所提方法使得定位精度和稳定性分别提高了22.8%和75.9%。所提出的方法能够显著提高果实定位精度，并具有较高的实时性和稳定性。
（3） 针对果实被遮挡和普遍采用的单视角感知范围有限，导致无法准确地感知大范围全局果实分布信息的问题，提出一种基于多视角点云融合的全局果实定位方法。该方法通过提取不同视角下识别到的单果点云，并计算单果最大簇点云质心（单果质心）；随后，分别合并各视角下单果点云和单果质心，从而获得合并的果实点云和单果质心点集；接着，结合多视角相对位姿先验信息和VGICP（Voxelized Generalized-ICP）配准算法，将不同视角下合并的果实点云和单果质心点集融合到基准视角；最后，使用融合单果质心点集对融合后的果实点云进行聚类分割以获得融合后的全局单果点云，进而使用这些单果点云完成全局果实的定位。点云融合方法的对比试验表明，使用先验信息的VGICP算法在耗时和精度上具有显著优势；点云聚类分割方法的对比试验显示，所提的分割方法耗时最短，并且平均交并比相较于其他方法至少提高8.2%，分割精度显著提高；双视角果实定位精度评估试验表明，相较于单视角方法，所提方法使得被遮挡果实的定位精度提高36.4%，并且总体定位精度提升21.4%。本研究提出的方法能够显著提高果实定位精度，特别是被遮挡果实，同时为多视角感知大范围的全局果实分布信息提供了一种新的技术范式。
（4） 针对现有手眼位姿获取方法在精度和易用性方面的不足，本研究基于指数积模型提出了一种准确且灵活的手眼位姿获取方法。该方法首先将标记有三个特定点的基准块固定在视觉设备上，然后使用靶标和安装在机械臂末端并经标定的测针组建标定系统，并基于指数积模型构建基准块与视觉设备之间的相对位姿标定方程。标定完成后，保持基准块与视觉设备的固定关系，使用时用户只需通过简单地操作，通过驱动机器人使得其上已标定的测针与基准块上的三个标记点接触，即可获取准确的手眼位姿。标定方程构建方法的对比试验表明，基于指数积模型的方法使得定位精度至少提高33.3%；同经典直接标定方法的对比试验显示，所提的手眼位姿获取方法使得定位精度提高35.2%。本研究提出的方法显著地提高了易用性和手眼位姿的精度。
（5） 针对研制的苹果采摘机器人样机，开发了相应的采摘机构控制系统，并开展了采摘机构的整体性能评估试验。试验结果表明，本研究所提出的果实定位系统的定位成功率至少为80.5%。然而，由于试验所选果园环境的复杂性以及硬件设备性能的限制，采摘成功率仅为62.4%，未来仍需进一步研究以提高采摘成功率。此外，本研究还针对不同果实定位方法进行了果园应用对比试验。结果显示，相较于对照方法，所提出的定位方法使定位成功率和采摘成功率分别提高23.4%和38.4%。本研究提出的果实定位系统具有较高的准确性和稳定性，可以适应复杂的果园环境。
本文创新点如下：
（1） 提出了一种结合RANSAC拟合点云去噪后的果实定位方法。该方法首先利用RANSAC拟合果实点云，以滤除由果实重叠和光照变化等因素引入的常规滤波算法难滤除的点云噪声。然后，采用最小二乘拟合球面的方法拟合经去噪的果实点云获取球心坐标。最后，使用球心坐标和实例分割生成的二值化掩膜图像的质心坐标进行果实定位。所提方法提高了果实定位的准确性和稳定性。
（2） 提出了基于多视角点云融合的全局果实定位方法。该方法通过给定多视角相对位姿先验信息并结合VGICP点云配准算法，将多视角点云和对应单果质心点集融合到基准视角，然后使用融合的单果质心点集对融合后的多视角果实点云进行聚类分割以获得融合后的全局单果点云，最后利用所获得的全局单果点云进行全局果实的定位。所提方法在显著提升果实定位精度的同时，也为多视角感知大范围的全局果实分布信息提供了一种创新的技术框架。
（3） 提出了一种基于指数积模型的手眼位姿获取方法。该方法通过在相机上固着标记有特定点的基准块，并结合靶标与安装在机械臂末端上经标定的测针，组成相机与基准块相对位姿标定系统。随后，利用指数积模型构建相机与基准块相对位姿标定方程，进而求解获得准确的相对位姿。用户使用时，只需引导安装在机械臂末端上经标定的测针接触基准块上的标记点，即可迅速获取相应的手眼位姿。该方法提高了手眼位姿获取方法的精度和易用性。
