半泽和莉娜1. vLLM 框架与 RLHF 协同部署概述
在大语言模型（LLM）的实际应用中，推理（inference）和强化学习人类反馈（RLHF）训练通常需要分开部署，这不仅增加了硬件成本，还带来了数据传输延迟。vLLM 框架通过创新的内存管理机制，实现了 KV 缓存的高效利用，而结合 Ray 分布式计算框架，我们可以将推理和训练任务协同部署在同一 GPU 集群上。
这种协同部署方案的核心价值在于：
- 硬件利用率最大化：通过精细的 GPU 资源分配，让训练和推理任务共享计算设备
- 降低通信开销：同一设备上的进程可通过 CUDA-IPC 直接交换数据，避免了跨节点通信
- 简化部署流程：统一的管理接口减少了运维复杂度
关键提示：这种部署方式特别适合 RLHF 这类需要频繁在训练和推理间切换的工作负载，但需要注意 GPU 内存的合理分配以避免冲突。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 环境准备与关键配置解析
2.1 基础环境搭建
在开始协同部署前，需要确保以下组件就绪：
- CUDA 11.7 或更高版本
- PyTorch 2.0+
- Ray 2.6+
- vLLM 最新版本
安装命令示例：
bash复制pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117
pip install "ray[default]" vllm
2.2 关键环境变量解析
协同部署的核心在于正确配置以下环境变量：
| 变量名 | 作用 | 示例值 | 注意事项 |
|---|---|---|---|
| VLLM_RAY_PER_WORKER_GPUS | 控制每个vLLM工作进程的GPU分配 | "0.4" | 需根据模型大小调整 |
| VLLM_RAY_BUNDLE_INDICES | 指定工作进程部署的GPU索引 | "0,1" | 需与placement group配置一致 |
| CUDA_VISIBLE_DEVICES | 控制Ray可见的GPU设备 | "0,1,2,3" | 必须在ray.init()前设置 |
在代码中，这些配置通过os.enviro