孙秀龙1. 项目背景与核心需求
水果采摘机器人作为农业自动化的重要应用方向，近年来在规模化果园中展现出巨大潜力。传统采摘机器人主要依赖机械视觉和预设路径，但面对果实遮挡、光照变化、成熟度判断等复杂场景时表现不佳。我们团队基于ROS（Robot Operating System）和YOLO-Pose深度学习模型，开发了一套能够精准识别水果采摘点的解决方案。
这个项目的核心挑战在于：
- 果实采摘点定位需要毫米级精度（通常要求误差<5mm）
- 自然环境下存在枝叶遮挡、反光、重叠果实等干扰
- 采摘机械臂的运动轨迹规划需要实时姿态估计
- 不同水果品种（苹果/柑橘/草莓等）需要适配不同抓取策略
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 技术架构设计
2.1 系统整体框架
采用ROS Melodic作为基础架构，构建了感知-决策-执行的闭环系统：
code复制视觉传感器 → YOLO-Pose模型 → 采摘点计算 → 运动规划 → 执行机构
↑ ↓
数据集训练 避障反馈
2.2 关键组件选型
-
视觉传感器：Intel RealSense D435i（RGB-D相机）
- 选择理由：同时提供彩色图像和深度信息，940nm红外主动投射适合果园环境
- 实测参数：室外工作距离0.3-3m，深度精度±1%@1m
-
计算单元：NVIDIA Jetson Xavier NX
- 配置：384核Volta GPU + 6核Carmel CPU
- 推理性能：YOLOv8-Pose模型可达32FPS@640x640
-
机械臂：UR5e协作机械臂
- 重复定位精度：±0.03mm
- 最大负载：5kg（满足大部分水果采摘需求）
3. YOLO-Pose模型优化
3.1 基础模型选择
对比测试了三种姿态估计模型：
| 模型 | AP@0.5 | 推理速度(FPS) | 模型大小(MB) |
|---|---|---|---|
| YOLOv8-Pose | 0.872 | 32 | 12.4 |
| MMPose | 0.891 | 18 | 48.7 |
| OpenPose | 0.835 | 9 | 215.3 |
最终选择YOLOv8-Pose作为基础架构，因其在精度和速度间取得最佳平衡。
3.2 关键点定义策略
针对不同水果类型设计关键点：
- 柑橘类：定义4个关键点（顶部茎梗点+3个赤道抓取点）
- 苹果类：定义3个关键点（茎梗点+两侧抓取点）
- 草莓类：定义2个关键点（果柄连接点+最佳剪切点）
关键提示：茎梗点的置信度阈值设为0.7，抓取点阈值设为0.5，避免漏检造成的采摘失败
3.3 数据增强方案
针对果园环境特别设计：
python复制transform = A.Compose([
A.RandomSunFlare(flare_roi=(0,0,1,0.5)), # 模拟阳光直射
A.RandomShadow(shadow_roi=(0,0.5,1,1)), # 枝叶阴影
A.MotionBlur(blur_limit=7), # 移动拍摄模糊
A.RandomFog(fog_coef_lower=0.3) # 晨雾效果
], keypoint_params=A.KeypointParams(format='xy'))
4. 数据集构建实践
4.1 数据采集规范
-
设备配置：
- 相机高度：1.2-1.8m（模拟机械臂视角）
- 光照条件：覆盖清晨/正午/傍晚三种典型光照
- 拍摄角度：每个果实从5个不同角度采集
-
标注标准：
- 使用LabelImg标注边界框
- 使用LabelMe标注关键点
- 标注文件转换为YOLO格式：
code复制<class_id> <x_center> <y_center> <width> <height> <px1> <py1> <px2> <py2>...
4.2 数据集统计
我们构建了包含12种常见水果的数据集：
| 水果种类 | 图像数量 | 实例数量 | 标注关键点 |
|---|---|---|---|
| 苹果 | 2,450 | 6,732 | 3 |
| 柑橘 | 1,880 | 5,214 | 4 |
| 草莓 | 3,200 | 9,856 | 2 |
| 合计 | 7,530 | 21,802 | - |
5. ROS系统集成细节
5.1 节点通信设计
python复制class FruitPicker:
def __init__(self):
self.det_pub = rospy.Publisher('/fruit_poses', PoseArray, queue_size=10)
self.cmd_sub = rospy.Subscriber('/arm_commands', String, self.cmd_callback)
def image_callback(self, msg):
img = self.bridge.imgmsg_to_cv2(msg)
results = model(img) # YOLO推理
poses = process_results(results)
self.det_pub.publish(poses)
5.2 坐标变换处理
采用TF2库管理坐标系：
- 相机坐标系 → 机械臂基坐标系
- 图像像素坐标 → 三维空间坐标
- 采摘点补偿计算（末端执行器偏移）
关键变换公式：
$$
\begin{pmatrix}
x_{arm} \
y_{arm} \
z_{arm}
\end{pmatrix}
= R \cdot \begin{pmatrix}
u \cdot z/f \
v \cdot z/f \
z
\end{pmatrix} + T
$$
其中$R$为旋转矩阵，$T$为平移向量，$f$为相机焦距。
6. 实际部署中的经验教训
6.1 光照适应方案
- 问题现象：正午强光下深度传感器失效
- 解决方案：
- 添加偏振滤镜（实测降低60%反光干扰）
- 采用自适应曝光策略：
python复制camera.set_auto_exposure(enable=True) camera.set_option(rs.option.enable_auto_exposure, 1)
6.2 机械臂运动优化
- 轨迹震荡问题：末端执行器接近果实时出现抖动
- 调参经验：
- 降低笛卡尔空间加速度限制（建议0.3m/s²）
- 增加路径采样密度（至少50点/轨迹）
- 启用碰撞检测阈值：
xml复制<safety_controller soft_lower_limit="0.85" soft_upper_limit="0.95"/>
7. 性能评估与优化
7.1 测试指标
在200次实际采摘试验中：
| 指标 | 数值 |
|---|---|
| 单果识别耗时 | 68±12ms |
| 采摘点定位误差 | 3.2±1.1mm |
| 单次采摘成功率 | 91.7% |
| 系统连续工作时间 | >8h |
7.2 模型量化优化
采用TensorRT加速：
bash复制trtexec --onnx=yolov8s-pose.onnx \
--saveEngine=yolov8s-pose.engine \
--fp16 \
--workspace=2048
优化效果：
- 推理速度提升42%（45FPS→64FPS）
- 模型体积减小35%（12.4MB→8.1MB）
8. 扩展应用方向
当前系统可进一步扩展：
- 多机器人协同：通过ROS2的DDS通信实现集群调度
- 成熟度判断：在关键点检测分支添加颜色分析子网络
- 自动标定系统：开发基于AprilTag的相机-机械臂自动标定工具
我们在柑橘园的实际测试表明，这套系统相比传统方案可提升采摘效率3-5倍，同时将果实损伤率控制在2%以下。下一步计划将算法移植到ROS2平台，利用其改进的实时性能实现更复杂的采摘策略。