1. 项目概述
最近在Ubuntu 24.04上折腾Gemma4-E4B模型的本地部署,发现llama.cpp确实是个轻量高效的解决方案。相比ollama的modelfile方式,llama.cpp对GGUF格式模型的支持更加稳定可靠,不容易出现模型丢失的情况。实测下来,量化版模型在我的RTX 2060 12G显卡上仅占用4.3G显存,完全可以在消费级显卡上流畅运行。
这个部署方案特别适合需要在本地开发环境中集成大模型能力的开发者。我是在VSCode配合Continue插件的OpenAI兼容模式下测试的,整个过程相当顺畅。下面就把详细的部署步骤和踩坑经验分享给大家。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 环境准备与依赖安装
2.1 基础环境配置
首先需要确保系统基础环境就绪。Ubuntu 24.04已经预装了Python3,但我们还需要补充一些开发工具:
bash复制sudo apt update
sudo apt install -y build-essential cmake git wget python3-pip
这里特别说明几个关键组件的作用:
- build-essential:包含GCC/G++编译器等基础开发工具
- cmake:项目构建工具,llama.cpp使用CMake作为构建系统
- git:虽然我们直接下载release包,但git在后续开发中很有用
- python3-pip:Python包管理工具,某些辅助脚本可能需要
2.2 CUDA工具链安装
由于我们要启用CUDA加速,必须正确安装NVIDIA驱动和CUDA工具链。推荐使用官方仓库安装:
bash复制# 添加CUDA官方仓库
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt-get update
# 安装CUDA Toolkit 12.5(会自动安装匹配的驱动)
sudo apt-get -y install cuda-toolkit-12-5
# 配置环境变量
echo 'export
