Solarex1. 项目概述：本地AI助手的价值与痛点
在AI技术爆发的当下，大模型应用已经渗透到工作生活的各个角落。但绝大多数用户依然依赖云端API服务，这不仅面临token消耗带来的成本焦虑，更存在隐私泄露、响应延迟、服务不稳定等固有缺陷。搭建本地化AI助手成为越来越多技术团队和极客用户的选择。
这个项目通过GPUStack和OpenClaw的组合，实现了Qwen3.5-35B-A3B大模型的本地部署，创造性地解决了三个核心痛点：
- Token焦虑消除：本地运行无需担心API调用次数和token计费
- 性能瓶颈突破：利用GPUStack的分布式计算能力支持大模型推理
- 交互体验升级：OpenClaw提供类ChatGPT的自然交互界面
实操中发现，单张RTX 3090显卡运行35B参数模型时，每秒仅能生成3-5个token。而通过GPUStack整合多卡资源后，生成速度提升至15-20 token/s，达到可用水平。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心组件解析与技术选型
2.1 GPUStack：分布式计算编排引擎
作为项目的算力基石，GPUStack实现了三大关键技术突破：
- 异构设备管理：自动识别NVIDIA/AMD/Intel不同架构显卡
- 计算任务分片：将大模型参数矩阵拆分到多个GPU并行计算
- 内存优化策略：
- 显存不足时自动启用CPU offloading
- 采用8-bit量化减少显存占用
- 实现模型参数的动态加载
配置示例（gpu-stack.yaml）：
yaml复制resources:
gpu_nodes:
- name: node1
ip: 192.168.1.101
devices: [0,1] # 使用两块GPU
- name: node2
ip: 192.168.1.102
devices: [0]
model:
qwen-35b:
quantization: int8
offload_threshold: 0.8 # 显存使用超80%时启用offload
2.2 OpenClaw：AI交互中间件
这个轻量级框架解决了本地