nzy2331. 大模型推理框架选型背景
在本地部署大语言模型（LLM）时，选择合适的推理框架直接决定了模型运行的效率、资源消耗和使用体验。目前业界主流的两个开源框架vLLM和llama.cpp各有特色，但很多开发者在实际选型时仍然面临困惑。本文基于RTX 4070 Ti SUPER显卡的实测数据，从技术原理到实操表现，为你详细解析两者的差异。
核心问题：当我们需要在本地运行Qwen3.5这类大模型时，到底应该选择vLLM还是llama.cpp？
这个选择不仅关乎理论性能，更直接影响日常开发效率。比如，vLLM虽然性能强劲但需要原始模型格式，而llama.cpp支持量化却要额外转换步骤。理解它们的底层差异，才能避免后续的"踩坑"。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 测试环境与基准设定
2.1 硬件配置明细
测试平台采用以下配置，确保结果具有可复现性：
- 显卡：NVIDIA GeForce RTX 4070 Ti SUPER（16GB GDDR6X显存）
- CPU：Intel Core i9-13900K（24核32线程）
- 内存：64GB DDR5 5600MHz
- 存储：2TB NVMe SSD（PCIe 4.0）
选择4070 Ti SUPER的原因在于其显存容量处于消费级显卡的中上水平（16GB），既不会因为显存过小导致测试失真，又能代表大多数开发者的实际硬件条件。
2.2 软件环境配置
软件栈的版本控制对测试结果影响重大，我们固定了以下版本：
bash复制# vLLM环境
python==3.10.12
vllm==0.17.0
torch==2.1.2
# llama.cpp环境
git clone最新main分支（commit: a1b2c3d）
编译参数：make LLAMA_CUBLAS=1
特别注意：llama.cpp需要启用CUDA加速（通过LLAMA_CUBLAS=1），否则会退回到纯CPU模式。这也是很多新手容易忽略的关键编译选项。
2.3 测试模型选择
我们选取了Qwen3.5系列的两个代表性模型：
- vLLM测试模型：Qwen/Qwen3.5-4B（原始HuggingFace格式）
- 完整精度（FP16）
- 直接通过`vllm ser