1. 项目概述
最近在折腾本地大模型部署,发现deer-flow这个项目挺有意思。它是一个基于vllm的本地大模型调用框架,可以让你更方便地管理和调用不同的大语言模型。我自己在部署过程中踩了不少坑,今天就把完整的部署流程和注意事项整理出来,希望能帮到有同样需求的开发者。
这个教程主要包含两部分内容:首先是deer-flow的部署和配置,然后是vllm本地大模型的部署。我以qwen3-8B模型为例,详细记录了从环境准备到最终调用的完整流程。整个过程涉及Python环境配置、模型下载、服务启动等多个环节,我会把每个步骤的细节和常见问题都讲清楚。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 环境准备与基础配置
2.1 系统要求
在开始之前,先确认你的硬件配置是否满足要求。qwen3-8B模型需要大约44GB的显存,这意味着你需要一张高端的GPU显卡,比如NVIDIA A100 80GB或者两块RTX 3090(24GB显存)通过NVLink连接。
操作系统方面,推荐使用Ubuntu 20.04或22.04 LTS版本。其他Linux发行版理论上也可以,但可能会有一些依赖问题需要自行解决。
2.2 Python环境准备
建议使用Python 3.9或3.10版本,太新的Python版本可能会有兼容性问题。我推荐使用conda创建一个独立的环境:
bash复制conda create -n deerflow python=3.10
conda activate deerflow
安装基础依赖:
bash复制pip install --upgrade pip
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
3. deer-flow部署流程
3.1 获取代码
首先克隆deer-flow的代码仓库:
bash复制git clone https://github.com/bytedance/deer-flow
cd deer-flow
注意:建议使用SSH方式克隆,如果你有GitHub账号并且配置了SSH key的话。这样可以避免后续可能出现的认证问题。
