Qwen3.5-35B-A3B模型GGUF格式在ComfyUI中的部署实践

1. 项目概述

最近在尝试将Qwen3.5-35B-A3B模型以GGUF格式部署到ComfyUI工作流中，整个过程踩了不少坑，也积累了一些经验。Qwen3.5-35B-A3B作为通义千问系列的最新开源大模型，在中文理解和生成任务上表现优异，而GGUF格式则是目前最流行的量化模型格式之一，特别适合在消费级硬件上运行大模型。

ComfyUI作为Stable Diffusion生态中最灵活的工作流工具，通过节点式操作可以构建复杂的AI图像生成流程。将Qwen3.5这样的语言模型集成到ComfyUI中，可以实现文本到图像的端到端流程，比如自动生成提示词、内容审核等应用场景。

2. 环境准备与依赖安装

2.1 硬件需求评估

Qwen3.5-35B-A3B模型即使经过量化，对硬件仍有较高要求。根据我的实测：

• 4-bit量化的GGUF模型需要至少24GB显存才能流畅运行
• 使用CPU推理时，建议至少32GB内存和较新的AVX2指令集支持
• 如果显存不足，可以考虑--n-gpu-layers参数将部分层卸载到GPU

2.2 软件环境配置

推荐使用Python 3.10环境，这是目前最稳定的ComfyUI支持版本。需要安装的关键依赖包括：

bash复制pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install comfyui llama-cpp-python

特别注意llama-cpp-python的版本，建议使用：

bash复制pip install llama-cpp-python==0.2.26 --force-reinstall --upgrade --no-cache-dir

这个版本对GGUF格式的支持最稳定。

3. 模型获取与转换

3.1 下载Qwen3.5-35B-A3B GGUF模型

目前HuggingFace上有多个社区转换的GGUF版本，推荐使用TheBloke维护的量化版本：

bash复制wget https://huggingface.co/TheBloke/Qwen3.5-35B-A3B-GGUF/re