莫魔墨1. vLLM Bench Throughput 参数概述
vLLM 是一个高性能的推理和服务系统，专为大规模语言模型（LLM）设计。vllm bench throughput 是 vLLM 提供的基准测试工具，用于测量和优化模型的吞吐量性能。吞吐量（Throughput）是指系统在单位时间内能够处理的请求数量或生成的 token 数量，是评估 LLM 服务性能的关键指标。
在 vLLM 中，bench throughput 命令允许用户通过多种参数配置测试场景，从而全面评估模型在不同负载和工作模式下的表现。这些参数控制着请求的生成方式、调度策略、数据集选择以及各种性能优化选项。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心参数解析
2.1 后端与数据集配置
--backend 参数指定了用于基准测试的后端实现，可选值包括：
vllm：使用 vLLM 原生后端hf：使用 Hugging Face 后端mii：使用 Microsoft 的 MII 后端vllm-chat：使用 vLLM 的聊天优化后端
--dataset-name 参数定义了基准测试使用的数据集类型，支持：
sharegpt：ShareGPT 对话数据集（默认）random：随机生成的文本sonnet：十四行诗格式文本burstgpt：突发性请求模式hf：Hugging Face 数据集custom_audio：自定义音频数据集
对于自定义数据集，可以使用 --dataset-path 指定本地文件路径。例如：
bash复制vllm bench throughput --backend vllm --dataset-name custom --dataset-path ./my_dataset.json
2.2 请求长度与批量大小
控制请求长度的关键参数包括：
--input-len：每个请求的输入 token 数量--output-len：每个请求的输出 token 数量（覆盖数据集默认值）--n：每个提示生成的序列数（默认为1）--num-prompts：要处理的提示总数（默认为1000）
对于随机数据集，还可以使用：
--random-input-len：随机输入长度（默认1024）--random-output-len：随机输出长度（默认128）--random-range-ratio：输入/输出长度的浮动范围比例（0-1之间）
2.3 预热与调度策略
--num-warmups 参数指定在计时基准测试前要处理的预热提示数量（默认为0）。预热对于获得稳定的性能测量至关重要，因为它允许系统初始化缓存、加载模型权重并达到稳定状态。
--prequeue-requests 是一个重要标志（默认为False），当设置为True时，它会在允许调度程序处理之前将所有请求排入队列。这可以提高基准测试的可重复性，因为消除了请求渲染和引擎调度之间的重叠。但在实际测量中可能会降低吞吐量，因为失去了并行处理的机会。
3. 高级性能调优参数
3.1 并行计算配置
vLLM 支持多种并行计算策略，相关参数包括：
--tensor-parallel-size（-tp）：张量并行组数（默认为1）--pipeline-parallel-size（-pp）：流水线并行组数（默认为1）--data-parallel-size（-dp）：数据并行组数（默认为1）--decode-context-parallel-size（-dcp）：解码上下文并行组数（默认为1）--prefill-context-parallel-size（-pcp）：预填充上下文并行组数（默认为1）
对于 MoE（混合专家）模型，还可以配置：
--enable-expert-parallel：启用专家并行（默认为False）--all2all-backend：指定MoE专家并行通信后端
3.2 内存与缓存优化
--kv-cache-interleave-size 参数控制 KV 缓存的交错存储策略，影响内存访问模式。值为1表示token级对齐，而设置为block_size则实现块级对齐。
对于大模型，可以启用 --enable-sleep-mode 让引擎在空闲时释放资源，或使用 --enable-cumem-allocator 启用高级GPU内存分配特性。
3.3 量化与精度控制
--quantization 参数支持多种量化方法：
None：自动检测模型配置awq：激活感知权重量化gptq：GPT风格量化squeezellm：SqueezeLLM量化方法
--dtype 参数控制计算精度：
auto：自动选择（默认）float16或half：FP16精度bfloat16：BF16精度float32：FP32精度
4. 多模态与特殊场景参数
4.1 多模态处理
对于支持多模态的模型，可以启用 --enable-multimodal-chat 标志。相关配置包括：
--random-mm-base-items-per-request：每个请求的多模态项目基数--random-mm-num-mm-items-range-ratio：项目数量的浮动范围--random-mm-limit-mm-per-prompt：每种模态的硬性上限--random-mm-bucket-config：多模态项目的采样配置
4.2 LoRA适配器支持
vLLM 支持使用 LoRA（低秩适配器）进行模型微调，相关参数：
--lora-path：LoRA适配器路径--lora-assignment：适配器分配策略（random或round-robin）
4.3 结构化输出配置
对于需要结构化输出的场景，可以使用：
--reasoning-parser：选择推理解析器--structured-outputs-config：结构化输出配置
5. 基准测试实践与技巧
5.1 典型测试流程
- 环境准备：确保GPU驱动、CUDA和vLLM正确安装
- 基础测试：使用默认参数运行初步基准
bash复制vllm bench throughput --model Qwen/Qwen3-0.6B
- 参数调优：根据初步结果调整并行度、批量大小等参数
- 稳定性测试：增加
--num-warmups和测试样本量 - 结果分析：使用
--output-json保存结果进行详细分析
5.2 性能优化建议
- 批量大小：适当增加
--num-prompts可以提高GPU利用率，但要注意内存限制 - 并行配置：根据GPU数量和模型大小平衡
--tensor-parallel-size和--data-parallel-size - 精度选择：FP16通常能提供最佳的性能/精度平衡
- 缓存策略：对于长序列任务，调整KV缓存参数可以减少内存占用
5.3 常见问题排查
- OOM错误：尝试减小
--input-len或--output-len，或启用--enable-sleep-mode - 低吞吐量：检查
--backend选择是否正确，增加--pipeline-parallel-size - 结果不稳定：增加
--num-warmups和--num-prompts以获得更稳定的测量 - 多节点问题：确保
--master-addr和--master-port配置正确
在实际项目中，我经常发现 --prequeue-requests 对于多模态基准测试特别重要，因为它能消除图像渲染时间对吞吐量测量的影响。同时，对于生产环境，建议将 --num-warmups 设置为至少50-100，以确保系统达到稳定状态后再进行测量。