1. 项目概述
最近在AI圈子里,Qwen2-7B这个开源大模型突然火了起来。作为一个经常折腾本地部署的老手,我发现用vLLM来部署Qwen2-7B简直是绝配。今天我就来分享一个真正适合新手的保姆级教程,让你半小时内就能在本地跑起来这个7B参数的大模型。
为什么说vLLM+Qwen2-7B是黄金组合?vLLM这个推理引擎最大的特点就是内存利用率高,特别适合我们这些没有专业服务器、只有消费级显卡的普通开发者。而Qwen2-7B作为通义千问团队开源的7B参数模型,在中文理解和生成任务上表现相当不错,对硬件要求又相对友好。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 环境准备
2.1 硬件要求
首先说说硬件配置。我测试过几种常见配置:
- RTX 3090 (24GB显存):流畅运行
- RTX 3060 (12GB显存):勉强能跑,但batch size要调小
- MacBook Pro M1 Max:可以用但速度较慢
建议最低配置:
- GPU:NVIDIA显卡,至少12GB显存
- 内存:16GB以上
- 存储:至少20GB可用空间(模型文件就占了14GB)
2.2 软件环境
我们需要准备以下环境:
- Python 3.8-3.10(不建议用3.11+,有些包兼容性不好)
- CUDA 11.8(必须与你的显卡驱动匹配)
- cuDNN 8.6+
- 一个干净的conda环境(强烈推荐)
创建conda环境的命令:
bash复制conda create -n qwen2 python=3.10 -y
conda activate qwen2
3. 安装vLLM
3.1 基础安装
vLLM的安装其实很简单,但有几个坑要注意:
bash复制pip install vllm
看起来简单对吧?但这里有个大坑:默认安装的vLLM可能不包含某些优化。我推荐用以下方式安装:
bash复制pip install "vllm>=0.3.0" --extra-index-url https://pypi.nvidia.com
注意:如果你在国内,可能会遇到下载慢的问题。可以尝试清华源:
bash复制pip install "vllm>=0.3.0" -i https://pypi.tuna.t
