1. 本地部署Qwen-3.5-35B模型的完整指南
最近在折腾大语言模型的本地部署,特别是对Qwen-3.5-35B这个模型很感兴趣。作为一个35B参数量的模型,它对硬件的要求相对友好,同时又保持了不错的性能表现。我特意加装了一根24GB的内存条来测试这个模型的运行效果,下面就把完整的部署过程和实测体验分享给大家。
选择LM Studio作为运行平台有几个考虑:首先它提供了直观的图形界面,比纯命令行工具更友好;其次它内置了模型下载和管理功能,省去了手动下载和配置的麻烦;最重要的是它对各种量化版本的模型支持很好,可以让我们在消费级硬件上运行大模型。这次我选择的是unsloth优化版的Qwen-3.5-35B-3B(这里的3B指的是3-bit量化),这个版本在保持模型性能的同时大幅降低了显存和内存占用。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 环境准备与工具安装
2.1 硬件配置建议
在开始之前,先说说硬件要求。Qwen-3.5-35B的3-bit量化版本对硬件的要求如下:
- 内存:至少32GB(建议64GB以上)
- 显存:至少8GB(建议12GB以上)
- 存储空间:模型文件约15GB,建议预留30GB空间
- 操作系统:Linux或Windows(本文以Linux为例)
我测试的配置是:
- CPU: AMD Ryzen 9 5900X
- 内存: 64GB DDR4 (原32GB,新增24GB后总计56GB)
- GPU: NVIDIA RTX 3090 (24GB显存)
- 系统: Ubuntu 22.04 LTS
2.2 LM Studio安装步骤
LM Studio目前提供了Linux、Windows和Mac版本,我们以Linux版为例:
- 访问LM Studio官网下载Linux版本(AppImage格式)
- 下载完成后,打开终端进入下载目录
- 给AppImage文件添加执行权限:
bash复制chmod +x LM-Studio-0.4.6-1-x64.AppImage - 运行LM Studio(需要添加--no-sandbox参数):
bash复制
./LM-Studio-0.4.6-1-x64
