1. 项目概述
在Linux环境下离线部署Ollama并搭建大模型是一个极具实用价值的技术方案,特别适合需要在内网环境或网络受限条件下运行AI模型的场景。Ollama作为一个轻量级的模型运行框架,能够高效管理各种开源大语言模型,而GGUF格式则是当前最流行的量化模型格式之一。
我最近在一个金融企业的内网环境中完成了这个部署过程,整个方案从准备到最终运行耗时约3小时,模型推理速度达到每秒18个token,完全满足业务需求。下面将详细分享整个实施流程和关键技巧。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 环境准备与依赖安装
2.1 系统要求检查
首先需要确认Linux系统满足以下最低要求:
- Ubuntu 20.04/22.04或CentOS 7/8
- 至少16GB内存(32GB推荐)
- 100GB可用磁盘空间
- NVIDIA GPU(可选,但强烈推荐)
通过以下命令检查基础环境:
bash复制# 检查系统版本
lsb_release -a
# 检查内存
free -h
# 检查磁盘空间
df -h
# 检查GPU(如有)
nvidia-smi
2.2 离线包准备
由于是离线环境,需要提前下载以下组件:
- Ollama二进制包(最新Linux版本)
- 目标大模型的GGUF格式文件
- 必要的依赖库(libcuda.so等)
建议在联网机器上使用wget下载:
bash复制# 下载Ollama
wget https://ollama.ai/download/Ollama-linux-x86_64
# 下载模型(以Llama3为例)
wget https://example.com/models/llama3-8b.Q4_K_M.gguf
3. Ollama离线安装
3.1 手动安装步骤
将下载好的Ollama二进制文件传输到目标机器后:
bash复制# 添加执行权限
chmod +x Ollama-linux-x86_64
# 移动到系统路径
sudo mv Ollama-linux-x86_64 /usr/local/bin/ollama
# 创建数据目录
mkdir -p ~/.ollama/models
3.2 环境变量配置
编辑~/.bashrc文件添加:
