何新彪1. Gemma-4-31B-it 性能测试背景与意义
在2026年4月2日NVIDIA开发者论坛发布的初步基准测试中，Gemma-4-31B-it模型在DGX Spark平台上的表现引起了广泛关注。作为一款基于Grace Blackwell Superchip（GB10）架构的AI加速平台，DGX Spark搭载了122GB LPDDR5X统一内存和273GB/s的内存带宽，为大规模语言模型推理提供了理想的硬件环境。
这次测试特别关注了Gemma-4-31B-it及其量化版本（包括AWQ-8bit和AWQ-4bit）在不同工作负载下的表现，并与Gemma-4-26B-A4B-it（MoE架构）进行了对比。测试结果不仅展示了各模型在吞吐量、响应时间等关键指标上的差异，还揭示了硬件架构与模型设计之间的微妙关系。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 测试环境与配置详解
2.1 硬件平台规格
测试使用的DGX Spark平台采用了NVIDIA最新的Grace Blackwell Superchip（GB10）架构，这是一款专为AI工作负载优化的计算平台。其核心硬件配置包括：
- 统一内存系统：122GB LPDDR5X内存，提供高达273GB/s的带宽
- 计算架构：专为AI优化的计算单元设计，支持高效的矩阵运算
- 平台基础：Ubuntu 24.04操作系统，aarch64架构
- CUDA环境：版本13.0，驱动版本580.142
这种硬件配置特别适合处理大规模语言模型的推理任务，尤其是需要长上下文支持的应用场景。
2.2 软件环境与部署配置
测试使用了官方提供的Docker镜像vllm/vllm-openai:gemma4-cu130，确保了环境的一致性和可重复性。关键部署参数包括：
- 上下文窗口：配置为256K tokens（262144）
- KV缓存类型：使用fp8量化以减少显存占用
- 模型加载格式：采用SafeTensors格式，兼顾安全性和加载速度
部署时特别启用了多项优化功能：
- 自动工具选择（
--enable-auto-tool-choice） - Python风格的工具调用解析器（
--tool-call-parser pythonic） - 专为Gemma 4设计的推理解析器（
--reasoning-parser gemma4） - 前缀缓存和分块预填充等内存优化技术
3. 测试模型对比与分析
3.1 模型规格对比
测试涵盖了Gemma系列的多个变体，包括稠密模型和MoE架构：
| 模型 | 量化方式 | 磁盘大小 | 架构类型 |
|---|---|---|---|
| gemma-4-31B-it | bf16 | ~62 GB | 稠密 |
| gemma-4-31B-it-AWQ-8bit | int8 | ~33 GB | 稠密 |
| gemma-4-31B-it-AWQ-4bit | int4 | ~20 GB | 稠密 |
| gemma-4-26B-A4B-it | bf16 | ~49 GB | MoE |
从规格上看，量化显著减少了模型体积，而MoE架构则在参数量与计算效率之间取得了平衡。
3.2 模型结构深度解析
Gemma-4-31B作为稠密模型，其结构特点包括：
- 总参数量：30.7B
- 层数：60层
- 滑动窗口大小：1024 tokens
- 上下文长度：256K tokens
- 词表大小：262K
- 支持模态：文本、图像
相比之下，MoE版本的26B-A4B模型虽然总参数量较少（约49GB），但通过专家网络的设计，每个token生成时只需激活部分参数（约4B），这为其高效推理奠定了基础。
4. 性能测试结果与解读
4.1 Prompt处理吞吐量对比
Prompt处理吞吐量（tokens/秒）是衡量模型处理输入效率的重要指标：
| 模型 | pp128 | pp512 | pp2048 |
|---|---|---|---|
| 31B bf16 | 244 ± 46 | 757 ± 67 | 1066 ± 48 |
| 31B AWQ int8 | 267 ± 26 | 399 ± 33 | 430 ± 0 |
| 31B AWQ int4 | 545 ± 104 | 778 ± 39 | 810 ± 2 |
| 26B-A4B MoE | 429 ± 165 | 1299 ± 441 | 3105 ± 372 |
结果显示，在长上下文（pp2048）场景下，MoE架构展现出明显优势，吞吐量达到稠密模型的3倍左右。而量化虽然提升了稠密模型的性能，但仍无法完全弥补架构差异。
4.2 Token生成吞吐量分析
Token生成（解码）速度直接影响用户体验：
| 模型 | tg128 | 峰值 |
|---|---|---|
| 31B bf16 | 3.7 ± 0.1 | 4.0 |
| 31B AWQ int8 | 6.5 ± 0.1 | 7.0 |
| 31B AWQ int4 | 10.6 ± 0.0 | 11.0 |
| 26B-A4B MoE | 23.7 ± 0.0 | 24.0 |
MoE模型的解码速度达到稠密bf16模型的6.4倍，即使与AWQ int4量化版本相比也有2.2倍优势。这种差距主要源于MoE架构每个token只需激活部分参数的特点。
4.3 首次响应时间表现
首次响应时间（TTFR）对交互式应用至关重要：
| 模型 | TTFR pp128 | TTFR pp512 | TTFR pp2048 |
|---|---|---|---|
| 31B bf16 | 547 ± 91 | 686 ± 64 | 1929 ± 89 |
| 31B AWQ int8 | 490 ± 51 | 1297 ± 108 | 4761 ± 2 |
| 31B AWQ int4 | 247 ± 46 | 664 ± 33 | 2533 ± 8 |
| 26B-A4B MoE | 371 ± 176 | 464 ± 197 | 672 ± 82 |
AWQ int4在短提示（pp128）下表现最佳，而MoE在长上下文场景中保持稳定响应。值得注意的是，int8量化在长提示下表现不佳，可能与量化误差累积有关。
5. 技术原理深度剖析
5.1 内存带宽瓶颈分析
测试揭示了DGX Spark平台上的内存带宽瓶颈现象。理论计算与实测结果的对比显示：
- 31B bf16：理论4.4 t/s，实测3.7 t/s（效率84%）
- 31B int8：理论8.8 t/s，实测6.5 t/s（效率74%）
- 31B int4：理论17.0 t/s，实测10.6 t/s（效率62%）
- 26B-A4B MoE：理论34.0 t/s，实测23.7 t/s（效率70%）
效率损失主要来自内存子系统无法完全饱和，以及计算单元与内存之间的协调开销。
5.2 MoE架构优势详解
MoE模型的高效性源于其独特的架构设计：
- 参数激活稀疏性：每个token仅激活4B参数，远小于稠密模型
- 专家并行：不同专家可并行计算，提高硬件利用率
- 内存访问局部性：活跃专家参数可高效缓存
这种设计特别适合DGX Spark的统一内存架构，减少了数据搬运开销。
5.3 量化技术影响
量化对模型性能的影响呈现非线性特征：
- int4量化在保持较高准确率的同时，显著提升了推理速度
- int8量化在某些场景下可能出现性能回退，可能与激活分布变化有关
- fp8 KV缓存有效减少了内存占用，但对计算速度影响较小
6. 实际部署建议与优化技巧
6.1 模型选择策略
根据应用场景推荐：
- 交互式应用：优先选择26B-A4B MoE，因其出色的解码速度和响应时间
- 质量敏感任务：考虑31B AWQ int4，平衡质量和速度
- 内存受限环境：AWQ int4版本仅需20GB磁盘空间
6.2 部署参数调优
关键参数设置建议：
- 并发数：根据GPU内存调整，70%利用率提供良好平衡
- 批处理大小：8192 tokens适合大多数场景
- 上下文管理：启用前缀缓存和分块预填充优化长上下文处理
6.3 性能监控与诊断
推荐监控指标：
- 内存带宽利用率
- KV缓存命中率
- 专家激活分布（针对MoE）
- 量化误差统计
7. 常见问题与解决方案
7.1 吞吐量不达预期
可能原因及解决：
- 内存带宽受限：检查其他进程占用，优化数据布局
- 量化误差累积：尝试调整量化参数或使用混合精度
- 批处理效率低：调整
max-num-batched-tokens
7.2 响应时间波动大
排查方向：
- 检查系统负载均衡
- 验证KV缓存有效性
- 监控专家路由质量（MoE）
7.3 长上下文性能下降
优化建议：
- 确保启用
enable-chunked-prefill - 调整
max-model-len与实际需求匹配 - 考虑使用滑动窗口注意力
8. 未来优化方向
虽然当前结果已经令人满意，但仍有提升空间：
- vLLM内核优化：进一步挖掘硬件潜力
- 混合专家调度：更智能的专家选择策略
- 自适应量化：根据输入动态调整精度
- 硬件感知部署：针对GB10架构的专门优化
在实际部署Gemma系列模型时，建议根据具体应用场景的特点，在模型架构、量化方案和部署参数之间找到最佳平衡点。MoE架构在DGX Spark上展现出的优势，也为未来模型设计提供了重要参考。