RK3588部署YOLOv8：ONNX转BMODEL全流程指南

1. 项目背景与目标

最近在RK3588开发板上部署YOLOv8模型时，发现直接使用ONNX格式的模型推理效率较低，无法满足实时性要求。经过调研发现，使用TPU MLIR工具链将模型转换为BMODEL格式可以显著提升推理速度。本文将详细记录从YOLOv8原生模型到BMODEL的完整转换过程，包括环境配置、模型转换、精度验证等关键环节。

注意：本文操作基于Ubuntu 20.04系统，使用TPU-MLIR v1.2版本工具链，目标芯片为BM1684X。

2. 环境准备与工具安装

2.1 基础环境配置

首先需要准备Python环境，推荐使用Miniconda创建独立环境：

bash复制conda create -n tpu_mlir python=3.8
conda activate tpu_mlir
pip install torch==1.10.0 torchvision==0.11.0 -f https://download.pytorch.org/whl/cu113/torch_stable.html

2.2 TPU-MLIR工具链安装

从官方仓库获取TPU-MLIR编译工具：

bash复制git clone https://github.com/sophgo/tpu-mlir.git
cd tpu-mlir
git checkout v1.2
source envsetup.sh  # 设置环境变量
./build.sh  # 编译工具链

安装完成后验证工具是否可用：

bash复制model_transform.py --help

3. YOLOv8模型导出与转换

3.1 原始模型导出ONNX

使用Ultralytics官方YOLOv8代码导出ONNX模型：

python复制from ultralytics import YOLO

model = YOLO('yolov8n.pt')  # 加载预训练模型
model.export(format='onnx', dynamic=True)  # 导出动态尺寸ONNX

关键参数说明：

• dynamic=True 允许输入尺寸动态变化
• opset=12 使用ONNX opset 12版本
• simplify=True 启用模型简化

3.2 ONNX模型预处理

使用TPU-MLIR的model_transform工具进行模型转换：

bash复制model_transform.py \
    --model_name yolov8n \
    --model_def yolov8n.onnx \
    --input_shapes [[1,3,640,640]] \
    --mean 0.0,0.0,0.0 \
    --scale 0.0039216,0.0039216,0.0039216 \
    --keep_aspect_ratio \
    --pixel_format rgb \
    --output_names output0,output1 \
    --test_input ./test_image.jpg \
    --test_result yolov8n_top_outputs.npz \
    --mlir yolov8n.mlir

参数解析：

• input_shapes: 指定输入张量形状
• mean/scale: 图像归一化参数
• keep_aspect_ratio: 保持图像宽高比
• pixel_format: 输入图像格式

3.3 MLIR到BMODEL转换

将生成的MLIR文件量化为INT8模型：

bash复制model_deploy.py \
    --mlir yolov8n.mlir \
    --quantize INT8 \
    --calibration_table yolov8n_cali_table \
    --chip bm1684x \
    --test_input yolov8n_in_f32.npz \
    --test_reference yolov8n_top_outputs.npz \
    --tolerance 0.85,0.45 \
    --model yolov8n_int8.bmodel

关键步骤说明：

1. 准备校准数据集（约100-200张图片）
2. 生成校准表（calibration_table）
3. 指定目标芯片型号（bm1684x）
4. 设置精度容忍阈值

4. 模型验证与性能测试

4.1 推理结果验证

使用TPU-MLIR提供的model_runner工具验证模型：

bash复制model_runner.py \
    --input yolov8n_in_f32.npz \
    --model yolov8n_int8.bmodel \
    --output yolov8n_output.npz

然后使用numpy比较原始ONNX和BMODEL的输出差异：

python复制import numpy as np
onnx_output = np.load('yolov8n_top_outputs.npz')
bmodel_output = np.load('yolov8n_output.npz')
print(np.max(np.abs(onnx_output['output0'] - bmodel_output['output0'])))

4.2 性能对比测试

使用timeit模块测试推理速度：

python复制import time
from tpu_mlir.runtime import ModelRunner

runner = ModelRunner('yolov8n_int8.bmodel')
for _ in range(10):  # warmup
    runner.run(input_data)

start = time.time()
for _ in range(100):
    runner.run(input_data)
print('Avg time:', (time.time()-start)/100)

典型性能数据对比：

5. 常见问题与解决方案

5.1 精度下降严重

可能原因及解决方法：

1. 校准集不具代表性：确保校准集覆盖各种场景
2. 量化参数不当：调整mean/scale值
3. 动态尺寸问题：尝试固定输入尺寸

5.2 转换失败错误

常见错误处理：

code复制Error: Unsupported op 'NonMaxSuppression'

解决方法：在导出ONNX时添加--nms参数禁用内置NMS

5.3 推理结果异常

调试步骤：

1. 检查输入数据预处理是否一致
2. 验证各中间层输出
3. 对比float32和int8模型输出差异

6. 部署优化建议

1. 多batch处理：转换时设置--input_shapes [[4,3,640,640]]提升吞吐量
2. 使用多核TPU：通过runner.set_core_mask(0x3)启用双核
3. 内存优化：合并连续卷积层减少内存拷贝

我在实际部署中发现，对于640x640的输入，INT8量化后的YOLOv8n模型在BM1684X上可以达到120FPS的推理速度，完全满足实时检测需求。关键是要确保校准集的多样性和量化参数的准确性，这是影响最终精度的最主要因素。