使用Docker容器化部署Qwen3.5-35B-A3B大模型推理服务

1. 项目概述

最近在部署大模型推理服务时，发现Qwen3.5-35B-A3B这个版本在vLLM框架下的性能表现相当出色。作为一个经常需要部署AI服务的工程师，我想分享下如何用Docker容器化部署这套方案。这种部署方式特别适合需要快速搭建推理服务、同时又要保证环境隔离的场景。

vLLM是当前最流行的大模型推理框架之一，以其高效的内存管理和推理速度著称。而Qwen3.5-35B-A3B作为通义千问系列的最新版本，在中文理解和生成任务上表现优异。将它们结合起来用Docker部署，可以充分发挥硬件性能，同时简化部署流程。

2. 环境准备与基础配置

2.1 硬件需求评估

Qwen3.5-35B-A3B是个350亿参数的大模型，对硬件要求较高。根据我的实测经验：

• GPU：至少需要2张A100 80GB显卡（推荐4张）
• 内存：建议128GB以上
• 存储：模型文件约70GB，建议准备200GB SSD空间

注意：如果使用消费级显卡（如4090），可能需要调整量化方案或使用模型并行策略。

2.2 基础环境搭建

首先确保宿主机已安装：

• NVIDIA驱动（>=525版本）
• Docker Engine（>=20.10）
• NVIDIA Container Toolkit

安装NVIDIA Container Toolkit的命令：

bash复制distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \
&& curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - \
&& curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list

sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit
sudo systemctl restart docker

3