1. 项目概述:KV Cache压缩的挑战与机遇
在大语言模型(LLM)推理过程中,KV Cache(键值缓存)管理一直是影响性能的关键瓶颈。随着上下文窗口的不断扩大(如32k甚至更长),KV Cache的大小呈线性增长,这不仅消耗大量GPU内存,还会显著增加解码延迟。传统方法要么完全保留所有token的KV Cache(Full KV Cache),导致资源浪费;要么采用激进的压缩策略,牺牲模型精度。
上海交通大学团队在DAC25上发表的《ClusterKV: Manipulating LLM KV Cache in Semantic Space for Recallable Compression》提出了一种创新解决方案。该研究基于一个关键观察:注意力计算具有稀疏性——即只有少量token对当前查询真正重要。通过将token按语义聚类,ClusterKV实现了可召回的高效压缩,在32k上下文长度下仅需1k-2k的KV Cache预算就能保持接近无损的精度。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 现有KV Cache管理方案的局限性
2.1 全量KV Cache的存储瓶颈
在标准的自回归解码过程中,每个新生成的token都需要访问之前所有token的KV Cache。当上下文长度达到32k时:
- 存储开销:以Llama-3.1-8B为例,单个token的KV Cache约占用0.5MB,32k上下文需要16GB显存
- 访问延迟:每次解码都需要从显存中读取数十GB的数据,造成严重的带宽压力
2.2 现有压缩方案的缺陷
不可召回压缩(如InfiniGen)
- 工作原理:基于注意力分数永久淘汰"不重要"的token
- 问题:
- token重要性会随解码动态变化,早期淘汰的token可能在后续步骤中变得关键
- 精度损失可达15-20%(在长文档问答任务中实测)
可召回压缩(如Quest)
- 工作原理:按文本位置划分固定大小的"页"作为管理单元
- 问题:
- 页内可能混合重要与非重要token(内部碎片)
- 需要额外20-30%的缓存预算来维持精度
- 召回粒度与语义无关,效率低下
关键洞见:现有方法都忽略了token之间的语义关联,而注意力机制本质上是在语义空间进行的相
