米喜1. 为什么选择本地部署大模型？
最近两年，大语言模型（LLM）的发展速度令人咋舌。从最初的云端独占，到现在可以在家用电脑上运行，这种技术民主化的进程让每个开发者都能触手可及。我最初接触ollama是因为需要一个能在本地快速测试prompt的工作环境，而不用每次都去调用昂贵的API。
ollama之所以成为我的首选，主要是因为它解决了几个痛点：
- 完全离线运行，不用担心网络延迟或服务中断
- 支持多种主流开源模型（Llama、Mistral等）
- 内存管理优秀，能在消费级硬件上运行
- 命令行交互简单直观，适合快速验证想法
提示：虽然ollama支持Windows，但在Linux/macOS上性能通常更好。如果条件允许，建议在WSL2环境下运行。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 环境准备与ollama安装
2.1 硬件需求评估
在开始前，先确认你的硬件配置是否达标。根据我的实测经验：
| 模型规模 | 最小内存 | 推荐内存 | 显存要求 | 适用场景 |
|---|---|---|---|---|
| 7B参数 | 8GB | 16GB | 可选 | 基础文本生成 |
| 13B参数 | 16GB | 32GB | 6GB+ | 代码补全 |
| 70B参数 | 64GB | 128GB | 24GB+ | 复杂推理 |
我的主力开发机是32GB内存+RTX3060（12GB显存），跑13B模型时能获得不错的响应速度（约15-20 token/s）。如果只有集成显卡，建议选择7B以下的量化版本。
2.2 Windows安装指南
ollama官方提供了Windows一键安装包，但国内下载速度可能很慢。这里分享我的加速方案：
- 先下载安装包（替换为国内镜像源）：
bash复制curl -L https://mirror.example.com/ollama/ollama-windows.exe -o ollama-installer.exe
- 安装时注意：
- 关闭所有杀毒软件（容易误报）
- 选择非系统盘安装（至少预留20GB空间）
- 勾选"添加到PATH"
- 安装后验证：
bash复制ollama --version
# 应该输出类似：ol