1. 项目概述
在昇腾AI生态中部署大模型从来都不是一件轻松的事,尤其是当遇到多模态视觉语言模型时。这次我们要在双卡Atlas 300I Duo(单卡96GB显存)上部署Qwen3-VL-32B-Instruct-w8a8s-310模型,整个过程堪称一场技术攻坚战。作为经历过完整部署流程的实践者,我将把每个关键步骤和踩过的坑都详细记录下来,希望能为后来者节省宝贵的时间。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 环境准备与前置条件
2.1 硬件与系统要求
首先明确我们的硬件配置:
- 服务器型号:华为昇腾Atlas 800 训练服务器
- NPU卡配置:4张Atlas 300I Duo(310P架构)
- 单卡显存:96GB HBM2
- 本次部署使用:其中2张卡(共192GB显存)
- 操作系统:openEuler 25.09 aarch64
特别注意:Atlas 300I Duo与310P是同一款加速卡的两种命名方式,在文档中可能会交替出现,但指的是同一个硬件。
2.2 驱动与固件安装
驱动安装是整个部署过程中最基础也最关键的一环。我们使用的是CANN 8.5.1版本,对应驱动版本25.2.0。安装时需要注意:
- 必须选择"物理机安装"模式
- 业务场景选择"训练&推理&开发调试"
- 安装顺序严格遵循:
- 先安装Toolkit开发工具包
- 再安装310P对应的ops包
- 最后安装NNAL加速库
安装完成后,需要设置环境变量:
bash复制source /usr/local/Ascend/nnal/atb/set_env.sh
这个命令需要添加到~/.bashrc中,否则每次登录都需要重新执行。
2.3 Docker环境配置
由于我们要在容器中运行模型,必须配置好Ascend Docker Runtime:
- Docker版本要求24.x.x或更高
- 安装Ascend Docker Runtime插件
- 设置Docker服务开机自启:
bash复制systemctl enable docker
验证NPU在容器中是否可见:
bash复制docker run --rm -it --device=/dev/davinciX ascendhub/
