绵羊料理1. 项目概述
最近在部署大语言模型时，发现Qwen3.5-35B-A3B这个版本在vllm框架下的性能表现相当出色。作为一个经常需要部署AI服务的工程师，我决定把整个docker化部署过程记录下来，方便自己和团队后续使用。
Qwen3.5-35B-A3B是通义千问系列模型的最新版本，35B参数规模在精度和推理速度之间取得了不错的平衡。vllm框架则以其高效的内存管理和推理优化著称，特别适合生产环境部署。将它们结合起来用docker封装，可以大大简化部署流程，实现"一次构建，随处运行"的目标。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 环境准备
2.1 硬件需求
部署35B参数的大模型，硬件配置是关键。根据我的实测经验：
- GPU: 至少需要A100 80GB * 2张（使用NVLink连接效果更佳）
- CPU: 建议16核以上
- 内存: 256GB以上
- 存储: 需要500GB以上的SSD空间（模型文件约70GB）
注意：如果使用量化版本，显存需求可以降低，但会影响推理质量。我建议首次部署使用原版模型，稳定后再考虑优化方案。
2.2 基础软件环境
确保宿主机已安装：
- NVIDIA驱动 >= 525.60.11
- Docker 20.10+
- nvidia-container-toolkit
验证nvidia-docker是否正常工作：
bash复制docker run --gpus all nvidia/cuda:12.1-base nvidia-smi
3. Docker镜像构建
3.1 基础镜像选择
经过对比测试，我推荐使用官方CUDA镜像作为基础：
dockerfile复制FROM nvidia/cuda:12.1.1-cudnn8-devel-ubuntu22.04
这个组合提供了完整的CUDA和cuDNN支持，同时保持合理的镜像大小（约4GB）。
3.2 依赖安装
在Dockerfile中添加以下内容：
dockerfile复制RUN apt-get update && apt-get install -y \
python3.10 \
python3-pip \
git \
&& rm -rf /var/lib/apt/list