GreedyAbyss1. 项目概述：基于vLLM的Qwen2-VL多模态大模型部署实战
去年在部署Llama2时踩过的坑让我意识到，大模型推理框架的选择直接影响线上服务的吞吐量和响应速度。这次选择vLLM部署Qwen2-VL（通义千问多模态版本），不仅因为其高达70%的推理效率提升，更看重它对多卡并发的原生支持。本文将完整记录从环境准备到爬虫接口封装的实战过程，包含三个关键场景：单卡快速验证、多卡生产级部署、以及高并发请求处理方案。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 环境准备与依赖安装
2.1 基础环境配置
推荐使用Ubuntu 20.04+系统，实测在NVIDIA驱动535.86.05版本下运行最稳定。以下是关键组件安装步骤：
bash复制# 安装CUDA Toolkit（必须11.8以上版本）
wget https://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda_11.8.0_520.61.05_linux.run
sudo sh cuda_11.8.0_520.61.05_linux.run
# 安装vLLM核心依赖
pip install torch==2.1.2 --index-url https://download.pytorch.org/whl/cu118
pip install vllm==0.3.3 transformers==4.38.2
注意：若遇到
libcudart.so缺失报错，需手动添加库路径到LD_LIBRARY_PATH：
export LD_LIBRARY_PATH=/usr/local/cuda-11.8/lib64:$LD_LIBRARY_PATH
2.2 模型下载与验证
使用HF镜像站加速下载Qwen2-VL-7B模型：
python复制from huggingface_hub import snapshot_download
snapshot_download(
"Qwen/Qwen2-VL-7B",
local_dir="./qwen2-vl-7b",
resume_download=True,
token="your_hf_token"
)
验证模