otter_ai1. 项目概述：搭建本地化AI服务集群
在智能设备普及的今天，许多用户希望在不依赖公有云的情况下实现私有化AI服务部署。这个方案通过整合语音合成（GPTSoVits）和语言模型接口（LLMAPI sever）两大核心组件，构建了一个完整的局域网AI服务环境。我最近在家庭实验室成功部署了这套系统，实测在树莓派5和旧笔记本上都能流畅运行。
这套方案特别适合三类场景：一是需要保护隐私数据的医疗/法律行业从业者；二是网络条件受限的野外作业团队；三是喜欢折腾本地化AI的极客玩家。整个部署过程约需2小时，完成后可通过内网任何设备访问智能对话、文本生成和语音合成服务。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心组件解析
2.1 GPTSoVits语音合成引擎
这个开源语音合成工具的最新v1.8版本采用了改进的VITS架构，相比传统TTS有三大优势：
- 只需5分钟音频样本即可克隆音色
- 支持中英混合输入时的自动韵律调整
- 推理时显存占用控制在2GB以内
在部署时要注意：
- 推荐使用Python 3.9环境（3.10以上版本存在兼容性问题）
- 必须安装CUDA 11.7对应的torch版本
- 首次运行会自动下载约3.5GB的预训练模型
2.2 LLMAPI sever语言模型接口
我们选择基于FastAPI构建的轻量级LLM服务框架，其主要特点包括：
- 支持同时挂载多个不同规格的模型
- 提供标准的OpenAI兼容API接口
- 内置请求队列和负载均衡机制
实测数据显示：
| 模型规格 | 显存占用 | 响应速度 |
|---|---|---|
| 7B-int4 | 6GB | 12token/s |
| 13B-int8 | 10GB | 8token/s |
3. 详细部署指南
3.1 基础环境准备
建议使用Ubuntu 22.04 LTS系统，以下是必须的依赖项：
bash复制# NVIDIA驱动(如使用显卡)
sudo apt install nvidia-driver-535 nvidia-utils-535
# 基础编译环境
sudo apt install build-essential python3-dev cmake
# Python环境
conda