外币兑换1. 项目概述
最近在部署Qwen2-vl多模态大模型时，发现vLLM确实是个高效的推理框架。相比传统部署方式，vLLM通过PagedAttention等技术显著提升了推理吞吐量。本文将分享我在单卡/多卡环境下的完整部署过程，以及如何通过爬虫请求与部署好的模型交互。
提示：Qwen2-vl是通义千问团队开源的视觉语言多模态模型，支持图像和文本的联合理解。vLLM则是专为大语言模型推理优化的服务框架。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 环境准备
2.1 硬件需求
- GPU：至少24GB显存（如RTX 3090/4090或A10G）
- 内存：建议64GB以上
- 存储：需预留50GB空间用于模型权重
2.2 软件依赖
bash复制# 基础环境
conda create -n qwen_vl python=3.10
conda activate qwen_vl
# 必须组件
pip install vllm==0.3.3 transformers==4.40.0 torch==2.2.1
# 多模态额外依赖
pip install pillow timm
3. 单卡部署实战
3.1 模型下载
推荐使用国内镜像加速下载：
python复制from modelscope import snapshot_download
model_dir = snapshot_download('qwen/Qwen2-VL', cache_dir='./models')
3.2 启动推理服务
bash复制python -m vllm.entrypoints.api_server \
--model ./models/qwen/Qwen2-VL \
--tensor-parallel-size 1 \
--trust-remote-code \
--port 8000
关键参数说明：
--tensor-parallel-size 1：单卡模式--trust-remote-code：允许执行模型自定义代码--gpu-memory-utilization 0.9：显存利用率（默认为0.9）