答辩博士：王运东
指导老师：周俊教授
论文题目：通用型果园作业机器人遥操作系统构建技术研究
答辩委员会：
主席：
何瑞银 教授/博导 南京农业大学
委员：
赵 湛 研究员/博导 江苏大学
蔡国芳 研究员江苏省农机具开发应用中心
陈坤杰 教授/博导南京农业大学
郑恩来 教授/博导南京农业大学
秘书：
顾宝兴 南京农业大学
答辩时间：2025年5月24日14:00
答辩地点：滨江校区工学院B442
论文简介：
集成自主作业技术的果园机器人，具备自主路径规划与导航避障等功能，可显著降低果园生产中人工作业的强度。然而，果园的非结构化特性给果园机器人的无人化作业带来巨大挑战，制约了机器人在果园中的作业效果。在通用机器人领域，遥操作技术常被应用于实现人机协同，以弥补机器人在极端工况下自主作业能力的不足。然而，遥操作技术在果园机器人领域的应用较少，果园机器人引入遥操作技术后，如何搭建人-果园机器人交互平台、如何实现系统的远程通信、如何准确表达环境信息从而实现临场感，是构建果园机器人遥操作系统亟待解决的关键问题。
针对上述问题，本文以通用型果园割草作业机器人为研究对象，围绕果园机器人遥操作系统构建技术，对人-果园机器人交互、果园环境消息传输、视频式遥操作临场感增强和果园VR临场感地图构建等方面进行研究。主要研究内容及研究成果如下：
（1）果园机器人遥操作系统基础平台设计与开发。首先设计开发了人-果园机器人交互模块。使用基于Web浏览器的B/S软件架构建立操作端，结合Gamepad API浏览器手柄支持，凝练提出手柄与控制命令映射算法，实现机器人控制手柄的接入。基于浏览器文档对象模型DOM树结构建立2D环境信息显示接口，提出跨平台显示算法，以适应操作端的灵活显示需求。在2D显示接口基础上，结合WebGL渲染协议建立虚拟相机视椎体模型，以沉浸式呈现果园VR地图，并融入基于虚拟树干的碰撞检测，提升VR遥操作安全性。然后，部署了云端服务单元的主要软件，包括Web服务和计算模型等软件。最后，介绍了果园机器人控制模型，通过该模型，开发实现了果园机器人的差速控制和割草机具作业控制，提供了遥操作系统的机电接口。
（2）基于云平台的果园机器人遥操作跨互联网通信系统构建研究。针对果园环境具有4G/5G信号覆盖的现实情况和机器人遥操作跨互联网通信需求，基于云平台构建了一个果园环境通信系统。该系统借助云平台的公网IP实现跨互联网消息传输；针对指令数据传输特点，系统借助基于Web后台支撑服务的HTTP协议实现操作端向云端的指令传输，然后借助基于Kafka消息中间件的自定义协议实现Web服务器与socket服务之间的数据传输，最后通过TCP协议从socket服务端下发指令到机器人端；针对图像和点云等环境数据传输特点，系统首先通过自定义Zmq协议实现机器人端、云端和高性能计算机三者之间的数据传输，最后通过WebSocket协议实现云端和操作端的数据传输；针对机器人坐标数据传输特点，系统通过Zmq协议实现机器人端和云端的数据传输，通过WebSocket协议实现云端和操作端的数据传输。最后，以图像数据为典型代表，进行了系统吞吐量和时延测试，本文方法在4G无线网络条件下，图像传输平均时延在115 ms左右，相比一般的TCP方法有较大幅度下降。该结果表明，所构建系统满足遥操作系统的数据传输需求。
（3）果园机器人视频式遥操作的临场感增强方法研究。针对果园作业机器人使用单目相机进行遥操作时，仅用二维视频获取环境信息缺乏临场感的问题，提出一种用于果园作业机器人视频式遥操作的环境信息可视化方法。该方法包含融合导航信息进行图像增强的可视化方法和使用雷达点云实时三维重建周围环境的方法。图像增强方法使用改进的Mask R-CNN训练获得果园道路分割模型，并将模型提取的道路导航信息以投影变换的方式融入图像信息，以提升2D图像的临场感；点云重建方法对单帧的稀疏点云进行三角剖分重建，并使用α-shape球对三角剖面进行边界判断并划分，加入等比例机器人模型等，进一步拓展了视频式遥操作的环境呈现视野。本文融合2种方法的优势，增强和扩大遥操作系统的可视化信息和范围，从而使得操作者获取更多的关键环境信息，增强果园机器人遥操作的临场感。最后对基于视频式遥操作的临场感增强方法进行了系统测试和验证，部署在计算服务器的导航信息提取模型提取导航线平均精度16°，优于对比模型结果。点云重建算法可以有效建立场景轮廓，平均精度1.6 cm，平均重建时间24 ms。该方法可以满足果园机器人视频式遥操作的可视化增强需求。
（4）基于双源定位和稀疏点云分割的果园VR地图构建研究。在构建用于果园机器人预建图沉浸式遥操作系统的果园VR地图时，基于激光扫描的构建方式存在不精确、缺乏必要语义信息的问题。针对这些问题，本文提出一种基于激光-GNSS双源组合定位和果园稀疏点云语义分割的VR地图构建方法。首先，使用一种新型的滑动窗口方法对GNSS数据和激光匹配数据进行融合，以获取果园半遮挡环境下的定位数据；其次，结合移动机器人雷达的相邻线束夹角，对实时获取的稀疏点云进行快速分类，并去除树叶等不利于遥操作的不稳定点云；然后，融合定位数据对分割后的稀疏点云进行变换累积，对点云地图分块稠密化，并对稠密化后较为特殊的地面点云进行随机采样一致性拟合，进一步提取地面点云；最后，对当前分类的稠密点云进行八叉树体素化，再对体素分类着色后，构建带有基本语义信息的VR地图。试验结果表明，基于滑动窗口的双源组合定位算法可以获得机器人载具的精确位姿，在大规模场景建图的轨迹相对误差不超过2.30 %，为点云稠密化提供了基础；基于稠密化点云构建的VR地图可以分辨树干和地面等果园基本特征，语义行距平均精度0.15 m。各项参数相比已有方法均有提升，可以满足果园机器人VR遥操作时的地图可视化基本需求。
主要创新点如下：
【创新点1】构建了基于人-果园机器人交互和云平台通信的果园作业机器人遥操作系统。通过Web浏览器实现操作手柄设备接入和VR等信息呈现，并构建了果园作业机器人的运动学模型以实现操作控制；提出一种融合多种通信协议的遥操作数据传输系统构建方法，分别针对指令数据、环境数据和位置数据的不同特点设计了通信链路，最后基于云平台实现了跨互联网的遥操作数据传输。
【创新点2】提出了基于果园机器人视频式遥操作的临场感增强方法。通过改进的Mask R-CNN模型提取导航信息，并将导航信息融入操作端，进行图像增强；提出一种基于α-shape的稀疏点云重建方法，通过雷达点云实时重建了遥操作时的果园机器人周围环境。最终增强和扩大了遥操作系统的可视化信息和范围，从而使得操作者获取更多的关键环境信息，增强了果园机器人遥操作的临场感。
【创新点3】提出了基于双源定位和稀疏点云分割的果园VR地图构建方法。使用一种新型的滑动窗口方法用于激光-GNSS融合，以获得在果园非结构化半遮挡环境下准确稳定的点云转换数据；结合雷达相邻线束几何夹角，对稀疏点云进行了快速语义分割，通过转换关系累积分类点云，形成稠密化点云地图。提升了果园VR建图的精度和语义性。
