基于GRPO与SFT的工业异常检测智能体构建实践

1. 项目概述与背景

工业异常检测是智能制造领域的关键技术之一，传统方法通常依赖规则系统或监督学习模型。随着多模态大模型的发展，基于视觉语言模型（VLMs）的智能体（Agent）展现出更强的适应性和推理能力。本项目通过SFT（监督微调）和GRPO（组相对策略优化）两阶段训练，构建了一个能够自主完成工业异常检测任务的智能体模型。

核心技术路线：

1. 使用LLamaFactory框架进行SFT训练，强化模型的指令遵循和工具调用能力
2. 采用VeRL框架实施GRPO强化学习，优化模型的决策质量
3. 基于Qwen-Agent框架部署应用，验证实际效果

2. 环境准备与工具链搭建

2.1 硬件配置要求

推荐配置：

• GPU：8张L20显卡（显存总量需≥160GB）
• 内存：≥256GB
• 存储：≥2TB NVMe SSD

实测中发现Qwen3-VL 4B模型在8B参数规模下会出现显存不足问题，报错信息如下：

bash复制RuntimeError: Failed to complete async request to resume_memory_occupation after 3 attempts

2.2 容器化部署方案

采用Docker环境确保依赖一致性：

bash复制docker pull verlai/verl:vllm016.dev.qwen3_5

docker run -dit \
  --name verl \
  --gpus all \
  --ipc=host \ 
  --ulimit memlock=-1 --ulimit stack=67108864 \
  -v /mnt/data:/workspace/data \
  -v /workspace:/workspace \
  -w /workspace \
  --restart unless-stopped \
  verlai/verl:vllm016.dev.qwen3_5 \
  bash

关键参数说明：

• --ipc=host：共享主机内存空间，避免/dev/shm不足
• memlock=-1：解除内存锁定限制
• 卷挂载：分离数据目录与工作目录

2.3 依赖安装与验证

进入容器后执行：

bash复制git clone https://github.com/volcengine/verl && cd verl
pip3 install --no-deps -e .
pip3 install -e .[vllm]  # 安装vLLM推理引擎
pip3 install -e .[sglang]  # 安装SGLang工具链

常见问题排查：

• 如遇uvicorn版本冲突，可尝试：

  bash复制pip install uvicorn==0.40.0 starlette==0.50.0
  

• 显存不足时可启用分层加载：

  bash复制export LAYERED_SUMMON=true
  

3. 数据集准备与处理

3.1 原始数据获取

使用HuggingFace镜像加速下载：

bash复制export HF_ENDPOINT='https://hf-mirror.com'
huggingface-cli download meksamiao/A