vLLM部署Qwen3.5：禁用思考模式提升推理性能

1. vLLM部署Qwen3.5强制不思考的技术背景

在大型语言模型(LLM)部署领域，vLLM作为一个高效推理和服务框架，因其出色的吞吐量和低延迟特性而广受欢迎。Qwen3.5作为通义千问系列的最新成员，采用了门控增量网络架构和混合专家(MoE)设计，总参数量高达397B，激活参数量17B。这种架构在带来强大能力的同时，也对部署提出了特殊要求。

关键提示：Qwen3.5默认会启用"思考模式"(thinking mode)，这种机制会让模型在生成响应前先进行内部推理过程。虽然这能提高回答质量，但会显著增加计算开销和响应延迟。

2. 强制禁用思考模式的完整部署方案

2.1 基础环境准备

对于NVIDIA GPU环境，推荐使用以下方式安装vLLM：

bash复制uv venv
source .venv/bin/activate
uv pip install -U vllm --torch-backend=auto

对于AMD GPU用户，需要特别注意Python版本要求：

bash复制uv venv --python 3.12
source .venv/bin/activate
uv pip install vllm --extra-index-url https://wheels.vllm.ai/rocm

2.2 核心部署命令解析

禁用思考模式的核心在于--default-chat-template-kwargs参数的配置。以下是完整的部署命令示例：

bash复制vllm serve Qwen/Qwen3.5-397B-A17B-FP8 \
  --tensor-parallel-size 8 \
  --max-model-len 262144 \
  --reasoning-parser qwen3 \
  --default-chat-template-kwargs '{"enable_thinking": false}' \
  --enable-prefix-caching

参数详解：

• --tensor-parallel-size 8: 指定使用8个GPU进行张量并行计算
• --max-model-len 262144: 设置最大上下文长度为262k t