1. Ollama 部署热门大模型全攻略
最近在折腾本地大模型部署的朋友,应该都听说过 Ollama 这个神器。作为一个开源的大模型运行框架,它让普通开发者也能轻松在本地运行 Llama3、Qwen、Mistral、Gemma 这些热门大模型。今天我就来分享下我的实战经验,从安装配置到模型部署,手把手带你玩转 Ollama。
为什么选择 Ollama?简单来说就是三个字:省心、高效、灵活。它解决了传统大模型部署中的几个痛点:环境配置复杂、模型管理困难、资源占用不可控。通过统一的命令行接口,你可以像安装软件包一样轻松获取和运行各种大模型,还能根据硬件条件自动调整运行参数。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 环境准备与安装
2.1 系统要求与前置准备
在开始之前,先确认你的硬件配置:
- 最低要求:8GB 内存(仅能运行小模型)
- 推荐配置:16GB 以上内存 + NVIDIA GPU(6GB 显存起)
- 存储空间:至少 20GB 可用空间(大模型占用空间较大)
支持的操作系统包括:
- Windows 10/11(需要 WSL2)
- macOS 10.15+
- Linux(推荐 Ubuntu 20.04+)
提示:如果你在国内,建议先准备好代理工具,因为后续模型下载可能会比较慢。也可以提前找好国内镜像源。
2.2 安装 Ollama
不同系统的安装方式略有差异:
Windows 用户:
- 确保已启用 WSL2(Windows Subsystem for Linux)
- 在 PowerShell 中运行:
bash复制winget install ollama
macOS 用户:
bash复制brew install ollama
Linux 用户:
bash复制curl -fsSL https://ollama.com/install.sh | sh
安装完成后,验证是否成功:
bash复制ollama --version
如果看到版本号输出(如 v0.1.15),说明安装成功。
2.3 配置优化(可选)
为了提高下载速度和运行效率,可以做一些优化配置:
- 设置国内镜像源(如果下载速度慢):
bash复制export OLLAM
