SeigRobotics1. 项目概述：Docker部署Ollama模型的背景与价值
在当今AI技术快速发展的背景下，模型部署的便捷性和可移植性成为开发者关注的重点。Ollama作为一个轻量级的模型运行框架，能够帮助开发者快速加载和运行各类开源大语言模型。而Docker作为容器化技术的代表，为模型部署提供了环境隔离和依赖管理的完美解决方案。
将Ollama与Docker结合使用，可以带来以下核心优势：
- 环境一致性：消除"在我机器上能跑"的问题
- 快速部署：一键启动模型服务
- 资源隔离：避免模型间相互干扰
- 版本控制：方便模型版本管理
我在实际项目中发现，这种部署方式特别适合以下场景：
- 需要快速验证不同模型效果的研发环境
- 需要稳定运行模型服务的生产环境
- 需要频繁切换模型版本的AB测试场景
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 环境准备与基础配置
2.1 系统要求与前置条件
在开始部署前，请确保你的系统满足以下要求：
- 操作系统：Linux (推荐Ubuntu 20.04+) / macOS 10.15+ / Windows 10+ (WSL2)
- Docker版本：20.10.0+
- 硬件配置：
- CPU：至少4核
- 内存：建议16GB+ (运行7B模型的最低要求)
- 磁盘空间：50GB+ (考虑模型体积)
注意：如果使用GPU加速，需要确保已安装NVIDIA驱动和CUDA工具包。可以通过
nvidia-smi命令验证驱动是否正常。
2.2 Docker环境配置
首先安装并配置Docker环境：
bash复制# Ubuntu安装示例
sudo apt-get update
sudo apt-get install -y docker.io
sudo systemctl enable --now docker
# 配置当前用户docker权限
sudo usermod -aG docker $USER
newgrp docker
验证Docker安装：
bash复制docker --version
docker run hello-world
如果使用GPU，需要额外安装NVIDIA Container Toolkit：
bash复制distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit
sudo systemctl restart docker
3. Ollama Docker镜像构建与运行
3.1 获取Ollama官方镜像
Ollama提供了官方Docker镜像，可以直接拉取使用：
bash复制docker pull ollama/ollama:latest
对于需要GPU加速的场景，使用以下命令：
bash复制docker pull ollama/ollama:latest-cuda
3.2 自定义镜像构建
如果需要定制化镜像，可以基于官方镜像构建。以下是Dockerfile示例：
dockerfile复制FROM ollama/ollama:latest
# 安装额外依赖
RUN apt-get update && apt-get install -y \
curl \
python3-pip \
&& rm -rf /var/lib/apt/lists/*
# 设置工作目录
WORKDIR /app
# 复制配置文件
COPY config.json /etc