1. 项目概述
最近在本地Ubuntu服务器上成功部署了一套完整的AI服务环境,核心组件包括Ollama、Qwen3.5:2b大模型和OpenClaw平台。这个方案最大的优势是完全离线运行,不需要依赖任何外部API服务,特别适合对数据隐私有严格要求的企业内部使用场景。
整套系统搭建完成后,可以通过Web界面直接与本地大模型交互,还能通过飞书机器人接入企业IM系统。实测下来,Qwen3.5:2b这个7B参数的模型在16G内存的Ubuntu虚拟机上运行流畅,响应速度在3-5秒左右,完全能满足日常问答、文档处理等基础AI需求。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 环境准备与组件解析
2.1 硬件配置建议
根据实测经验,建议部署环境满足以下配置:
- CPU:4核以上(AMD EPYC 7B12实测单次推理耗时4.2秒)
- 内存:16GB起步(Qwen3.5:2b模型加载后内存占用约9GB)
- 存储:至少50GB可用空间(模型文件约4.8GB)
- 显卡:非必须,但如果有NVIDIA显卡(如RTX 3060 12GB)可显著提升推理速度
提示:虚拟机部署时建议预留swap空间,我设置了8GB swap分区防止内存不足崩溃。
2.2 核心组件说明
Ollama:相当于本地版的模型托管平台,支持一键拉取和运行各种开源大模型。它的优势在于:
- 自动处理模型依赖关系
- 提供REST API接口(默认端口11434)
- 支持模型版本管理
Qwen3.5:2b:阿里云开源的轻量级大模型,特点是:
- 参数量2B,适合本地部署
- 中文理解能力强
- 支持8k上下文长度
OpenClaw:开源的AI服务网关,主要功能:
- 提供Web管理界面
- 统一API接入层
- 多平台对接能力(飞书、钉钉等)
3. 详细部署步骤
3.1 Ollama安装与配置
3.1.1 基础安装
bash复制# 官方一键安装脚本
curl -fsSL https://ollama.com/install.sh | sh
# 验证安装
ollama --version
# 预期输出:ollama version 0.1.xx
安装完成后会自动创建ollama用户和systemd服务,可以通过以下命令管理:
`
