1. 项目概述
最近在部署Qwen2-vl多模态大模型时,发现VLLM框架确实是个利器。作为一个专门为大语言模型推理优化的服务框架,VLLM不仅能显著提升推理速度,还简化了部署流程。本文将分享我在单卡和多卡环境下部署Qwen2-vl的完整过程,包括如何通过爬虫请求与部署好的模型交互。
Qwen2-vl是阿里云推出的多模态大模型,支持文本和图像输入。相比纯文本模型,它的部署会涉及更多细节处理。VLLM的连续批处理(continuous batching)和PagedAttention技术能有效提升这类大模型的吞吐量,实测在A100上推理速度提升可达2-3倍。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 环境准备与依赖安装
2.1 硬件与基础环境
推荐使用Ubuntu 20.04/22.04系统,至少16GB内存(32GB更佳)。显卡方面:
- 单卡部署:至少一块24GB显存的NVIDIA显卡(如3090/4090/A10)
- 多卡部署:需要支持NVLink的显卡组合(如A100×2)
注意:如果遇到"ImportError: libcudart.so.13"错误,说明CUDA版本不匹配。VLLM需要CUDA 12.1+环境。
2.2 安装VLLM
建议使用conda创建独立环境:
bash复制conda create -n vllm python=3.9 -y
conda activate vllm
pip install vllm
国内用户可以使用镜像加速:
bash复制pip install vllm -i https://pypi.tuna.tsinghua.edu.cn/simple
2.3 模型下载
Qwen2-vl模型可从ModelScope获取:
bash复制pip install modelscope
from modelscope import snapshot_download
model_dir = snapshot_download('qwen/Qwen2-VL', cache_dir='./model')
3. 单卡部署实战
3.1 基础启动命令
最简单的启动方式:
bash复制python -m vllm.entrypoints.api_server \
