1. Ollama项目概述
Ollama是一款开源的大模型运行引擎,专为简化大型语言模型在本地环境中的部署和运行而设计。它通过容器化技术将模型、运行环境和依赖项打包成统一格式,解决了传统大模型部署中环境配置复杂、依赖冲突等问题。在Windows平台上,Ollama提供了完整的本地运行方案,支持包括Llama2、Mistral等主流开源大模型。
提示:Ollama目前支持Windows 10/11 64位系统,建议配备至少16GB内存和NVIDIA显卡以获得最佳体验
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. Windows环境准备
2.1 硬件需求分析
运行7B参数规模的大模型至少需要:
- 16GB系统内存(13B模型需要32GB)
- 支持AVX2指令集的CPU(Intel四代酷睿或AMD Ryzen以上)
- 可选但推荐:NVIDIA显卡(RTX 3060 8GB起步)
实测发现,在i7-12700H + RTX 3060笔记本上运行Llama2-7B模型时:
- 纯CPU模式:每秒生成2-3个token
- GPU加速模式:每秒生成15-20个token
2.2 软件依赖安装
- 安装WSL2(Windows Subsystem for Linux):
bash复制wsl --install
重启后会自动完成Ubuntu子系统的安装
- 安装NVIDIA驱动(如使用显卡加速):
- 下载最新Game Ready驱动
- 执行
nvidia-smi验证CUDA版本(需≥11.7)
- 安装Docker Desktop:
- 官网下载Windows版安装包
- 设置中启用WSL2后端支持
3. Ollama安装流程详解
3.1 官方安装方法
- 下载安装包:
powershell复制Invoke-WebRequest -Uri https://ollama.ai/download/OllamaSetup.exe -OutFile .\OllamaSetup.exe
- 执行安装:
powershell复制.\OllamaSetup.exe
- 验证安装:
powershell复制ollama --version
3.2 国内镜像加速方案
对于下载缓慢的
