Linux系统部署vLLM运行DeepSeek模型指南

1. 环境准备与基础配置

在Linux系统上部署vLLM并运行DeepSeek模型，首先需要确保硬件和软件环境满足基本要求。我最近在Ubuntu 22.04 LTS系统上完成了这个部署过程，使用的是NVIDIA RTX 3090显卡（24GB显存）。以下是详细的准备工作：

1.1 硬件需求检查

首先确认你的GPU是否支持CUDA。运行以下命令检查NVIDIA驱动是否已安装：

bash复制nvidia-smi

这个命令会显示GPU信息和驱动版本。我遇到的一个常见问题是驱动版本不匹配，建议使用470或更高版本的驱动。如果未安装驱动，可以通过以下方式安装：

bash复制sudo apt update
sudo apt install nvidia-driver-535

1.2 软件依赖安装

vLLM需要Python 3.8或更高版本。我推荐使用conda创建独立环境：

bash复制conda create -n vllm python=3.10
conda activate vllm

接下来安装CUDA Toolkit 11.8（与vLLM兼容性最好）：

bash复制wget https://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda_11.8.0_520.61.05_linux.run
sudo sh cuda_11.8.0_520.61.05_linux.run

注意：安装CUDA时，记得将CUDA路径添加到环境变量。我在~/.bashrc中添加了：

bash复制export PATH=/usr/local/cuda-11.8/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-11.8/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

1.3 vLLM安装与验证

安装vLLM时，我建议从源码构建以获得最佳性能：

bash复制git clone https://github.com/vllm-project/vllm.git
cd vllm
pip install -e .

验证安装是否成功：

python复制python -c "import vllm; print(vllm.__version__)"

如果看到版本号输出，说明安装成功。我在初次安装时遇到了gcc版本不兼容的问题，解决方法是安装gcc-9并设置默认版本：

bash复制sudo apt install gcc-9 g++-9
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-9 90

2. DeepSeek模型部署

2.1 模型下载与准备

DeepSeek模型可以从Hugging Face获取。我使用的是DeepSeek-R1-Distill-Qwen-1.5B模型：

bash复制git lfs install
git clone https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B

模型下载后，检查文件结构应包含：

• config.json
• model.safetensors
• tokenizer.json
• special_tokens_map.json

2.2 启动vLLM服务

使用以下命令启动vLLM服务：

bash复制python -m vllm.entrypoints.api_server \
    --model deepseek-ai/DeepSeek-R1-Distill