顺德韭菜星1. 项目概述
最近在本地部署大语言模型的需求越来越普遍，而llama.cpp作为一个轻量级的C++实现方案，因其高效和跨平台特性受到了广泛关注。今天我要分享的是如何在Windows系统上使用llama.cpp部署deepseek-r1-8b这个8B参数规模的开源模型。
deepseek-r1-8b是一个性能优异的中英文双语模型，特别适合在消费级硬件上运行。通过将其转换为GGUF格式，我们可以利用llama.cpp的高效推理能力，在普通PC甚至笔记本电脑上就能获得不错的推理速度。本文将详细介绍从环境准备到实际运行的完整流程，包括CUDA环境配置、模型获取、命令行交互和Web界面部署等关键环节。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 环境准备与工具安装
2.1 硬件与系统要求
在开始之前，我们需要确保设备满足基本要求。对于8B参数的模型，建议至少具备：
- 16GB以上内存（32GB更佳）
- 支持CUDA的NVIDIA显卡（GTX 1060 6GB或更高）
- Windows 10/11 64位系统
- 至少10GB的可用磁盘空间
如果你的设备是集成显卡或AMD显卡，虽然也能运行，但性能会有所下降。这种情况下可以考虑使用CPU-only版本，但推理速度会明显变慢。
2.2 CUDA工具包安装与验证
对于NVIDIA显卡用户，CUDA工具包是必须的。以下是详细的安装验证步骤：
- 首先检查显卡支持的CUDA版本。打开命令提示符，输入：
bash复制nvidia-smi
在输出结果中，右上角会显示支持的最高CUDA版本（如CUDA 12.2）。这个版本号表示你的显卡驱动支持的最高CUDA版本，但实际安装的CUDA工具包版本应该等于或低于这个版本。
- 验证系统是否已安装CUDA工具包：
bash复制nvcc --version
如果显示"不是内部或外部命令"，说明需要安装CUDA工具包。
-
从NVIDIA官网下载对应版本的CUDA工具包。建议选择比驱动支持的版本稍低的稳定版本（如驱动支持12.2，可以安装11.8）。下载地址：https://developer.nvidia.com/cuda-downloads
-
安装时选择"自定义安装"，确保勾选了：
- CUDA核心组件
- cuDNN（如果选项中有）
- 开发工具
-
安装完成后，再次验证nvcc版本，确保安装成功。
注意：如果遇到版本冲突问题，可以考虑使用conda安装特定版本的CUDA工具包，这样可以避免影响系统全局环境。
2.3 llama.cpp获取与配置
llama.cpp提供了预编译的二进制版本，大大简化了部署流程：
-
访问llama.cpp的GitHub Release页面：https://github.com/ggml-org/llama.cpp/releases
-
根据你的硬件配置选择合适的版本：
- NVIDIA显卡：选择带CUDA后缀的版本（如llama-b