Magic Road1. 项目概述
最近在Ascend平台上部署Qwen3.5大模型的需求越来越多，特别是结合vLLM框架进行高效推理的场景。作为一个在AI部署领域摸爬滚打多年的老手，我想分享下在vLLM-Ascend环境下部署Qwen3.5的完整方案。这个方案已经在多个实际项目中验证过，特别适合需要高性能推理的企业级应用场景。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 环境准备
2.1 硬件要求
首先需要确认你的Ascend硬件环境。建议使用至少一张Ascend 910B NPU卡，显存建议32GB以上。如果是多卡部署，需要确保服务器支持PCIe 3.0 x16以上的带宽。我们测试过在8卡服务器上，Qwen3.5-27B模型可以达到每秒处理1200+ token的吞吐量。
2.2 软件依赖
操作系统推荐使用OpenEuler 22.03 LTS，这是华为官方优化的版本。需要预先安装以下组件：
- CANN 6.3.RC1（Ascend计算架构）
- Python 3.8+
- Docker 20.10+
- vLLM-Ascend 0.14.0rc1
注意：务必确保CANN版本与vLLM-Ascend的兼容性，我们遇到过因版本不匹配导致的性能下降问题。
3. Docker环境配置
3.1 镜像准备
推荐使用华为云官方提供的vLLM-Ascend基础镜像：
bash复制docker pull swr.cn-north-4.myhuaweicloud.com/ascend/vllm-ascend:0.14.0rc1-openeuler
如果遇到网络问题，可以配置国内镜像源：
bash复制sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
"registry-mirrors": ["https://mirror.baidubce.com"]
}
EOF
sudo systemctl restart docker
3.2 容器启动
使用以下命令启动容器并挂载Ascend驱动：
bash复制docker run -itd --name vllm-ascend \
--device=/dev/davinci0 \
--device=/