1. Ollama 本地 LLM 配置指南
最近在折腾本地大语言模型部署时,发现Ollama这个工具确实能省去不少环境配置的麻烦。作为一款开源的LLM运行框架,它通过容器化技术将模型依赖打包成标准化模块,让普通开发者也能快速在本地跑起百亿参数的大模型。下面分享我在Windows和Linux系统下的完整配置经验,包括国内镜像加速等实战技巧。
提示:本文所有操作均基于Ollama v0.1.23版本,不同版本可能存在命令差异
1.1 核心功能解析
Ollama的核心价值在于解决了LLM部署中的三大痛点:
- 依赖管理:自动处理CUDA、Python版本等基础环境冲突
- 模型封装:将权重文件、推理代码、配置文件打包成可移植的Modelfile
- 资源调度:动态分配GPU/CPU资源,支持多模型并行加载
其架构设计采用客户端-服务端模式:
code复制[Ollama Client] ←HTTP→ [Ollama Server] ←→ [Container Runtime]
↑
[Model Registry]
1.2 环境准备
1.2.1 硬件要求
| 模型规模 | 最低显存 | 推荐配置 |
|---|---|---|
| 7B参数 | 6GB | RTX 3060 + 16GB内存 |
| 13B参数 | 10GB | RTX 3090 + 32GB内存 |
| 70B参数 | 40GB | A100 80GB |
1.2.2 软件依赖
- Windows:需安装WSL2并启用CUDA支持
- Linux:要求NVIDIA驱动≥525.60+,CUDA≥11.7
- Docker:必须配置NVIDIA Container Toolkit
验证环境:
bash复制nvidia-smi # 查看GPU状态
docker run --rm --gpus all nvidia/cuda:11.7.1-base-ubuntu20.
