ViTCoP：视觉文本语义协作的LVLM结构化剪枝方法详解

做模型压缩的时间越长，越觉得剪枝是个手艺活。尤其这几年大家开始扎堆搞大视觉语言模型（LVLM），上手跑一个7B级模型，一张图进来就是几百个视觉token，自回归生成时KV cache涨得飞快，显存和延时都很难看。量化能压一部分，蒸馏又太费资源，结构化剪枝就成了不少团队重点看的方向。可是传统剪枝放到LVLM上，往往剪完语言任务还行，一到图文理解就开始答非所问。最近我仔细拆了一个方案叫ViTCoP，全称是Visual and Textual Semantic Collaborative Pruning，核心思路是用视觉和文本的语义协作来指导剪枝。这篇文章把方案的原理、实现流程、落地时容易踩的坑完整梳理一遍，想给LVLM做压缩或者正在为显存发愁的朋友，应该能直接用上。

1. 先搞清楚LVLM的算力消耗到底在哪

1.1 一个7B级LVLM的结构拆解

典型的LVLM由三块拼起来：视觉编码器、视觉语言投影模块、大语言模型主干。视觉编码器把图像切patch后编码成视觉特征，投影模块负责把视觉特征映射到语言模型的语义空间，大语言模型主干再把这些视觉token和文本token混在一起，逐字生成回答。

很多人以为最大的开销在视觉编码器，实际算一下就会发现，视觉编码器只占总参数的10%到20%，LLM主干才占大头。一个7B级模型的参数分布大致是：视觉编码器0.3B到0.5B，投影模块不到0.1B，LLM主干6B以上。自回归生成时，每一步都要过一遍LLM的所有层，单步计算量远大于视觉编码器处理整张图的成本。但视觉编码器也有它特有的问题：它一次性输出几百个视觉token，这些token会作为前置的KV cache一直保留在整个生成过程中，显存压力就是这么来的。

注意：加速LVLM其实有两个层次。第一层是“少参数”，靠剪权重、剪注意力头、剪FFN神经元实现；第二层是“少token”，靠减少视觉token数量或提前丢弃不重要的视觉token实现。ViTCoP这类结构化剪枝方法主要解决第一层，但如果不同时处理视觉token冗余，最终加速效果会打折扣，这一点后面会专门展开。

1.2 为什么单模态剪枝在LVLM上频繁翻车

把单模态大模型的剪枝工具直接迁移到LVLM，最常见的现象是：语言任务指标掉得不多，但多模态任务崩了。根本原因是重要性评估的目标错位了。

单模态LLM剪枝时，常用语言建模损失（next-token prediction）的梯度或者激活幅度来衡量结构单元的重要性。这套逻辑假设文本语义损失能完整反映出“什么是重要的”，但LVLM里存在一条独立的视觉通路：视觉编码器、投影模块、以及LLM中负责吸收视觉信息的注意力模块。这些结构对语言建模损失的梯度贡献往往不大，因为语言模型在没有视觉输入时也能生成通顺文本，只是内容会瞎编。用语言损失打分，会把很多“只在图文联合推理时才有用”的单元误判成冗余。

反过来只看视觉重建损失也不行。视觉编码器剪太狠，投影到文本空间的表征会严重漂移，LLM读到的是“走样的语义”，视觉问答一样会崩。所以核心矛盾在于：需要找到一种能同时反映视觉语义和文本语义的评估信号，让剪枝的标尺既照顾视觉通路，也照顾语言通路。ViTCoP的基本出发点，就是把“多模态语义对齐”当成这把标尺。

2. 把“多模态语义对齐”变成剪枝的标尺

2.1 语义协作分数的设计思路

ViTCoP这个名字已经把核心点破了：视觉语义和文本语义协作。具体做法是构造一个多模态语义一致性目标，再用它对每个待剪枝单元求“贡献度”。

我拆解这个方案时，觉得最值得借鉴的是它把重要性定义从“权重幅度”换成了“模态协作程度”。一个参数重不重要，不取决于它的绝对值大小，而取决于剪掉它之后，视觉语义和文本语义还能不能对齐。实现上一般有两种评估方式。

第一种是基于梯度的估计。在校准图文对数据集上计算一个语义一致性损失，比如图文匹配概率、文本生成的似然、视觉token和文本token的对比学习损失，然后对结构单元的权重求梯度。梯度绝对值大，说明这个单元对多模态语义对齐影响大，不能剪。这里的核心不是单纯用梯度大小，而是梯度所依赖的损失函数必须是多模态的，最好同时包含视觉和文本两侧的监督信号。

第二种是扰动估计。对每个候选单元做一次mask或者置零，观察语义一致性损失上升多少。这种做法更准确，但计算量太大，一般只用于少量关键结构（比如注意力头）的复核，不适合大规模通道剪枝。

实际工程里更稳妥的做法是两者结合：用梯度法对全部候选单元做初筛，再用扰动法对少数临界单元做确认。这样既控制住了计算开销，又能避免梯度法在个别单元上的误判。比如某个通道的梯度幅值处于阈值附近，是剪还是不剪拿不准，就单独mask它跑一遍语义一致损失，用损失涨幅来拍板。

2.2 联合评分与分层剪枝率的搭配

拿到统一的语义协作分数后，还需要解决一个工程问题：视觉编码器、投影层、LLM主干的可压缩性完全不同。

视觉编码器经过图文对比预训练，特征空间高度紧凑，剪掉过多通道会造成严重的语义坍缩；LLM主干有大量冗余参数，对剪枝的容忍度高一些；投影层维度通常不大，但它承担着“翻译”职责，一旦剪错位置，影响会顺着主干层层放大。所以方案里普遍采用“统一打分，分层设限”的策略。

举个例子。假设你整体目标剪掉30%的参数，可以这样分配：视觉编码器剪10%，投影层剪10%，LLM主干剪35%。然后基于全局语义协作分数排序，但每一层单独施加一个“该层最多剪x%”的约束。这里的x就是分层剪枝率，需要根据模块类型和实验表现手动调节。

分层设限还有个额外好处：避免全局排序造成某个模块被剪成空壳。如果只做全局统一排序，某个模块的冗余分数整体偏低时，它就可能被一次性剪掉大半，直接导致模型失能。每层的mask必须保证最低保留比例，宁可少剪一点，也不要让某一层塌方。我见过一个案例，某团队没加分层约束，按全局分数剪到40%，结果视觉编码器被剪掉快一半，多模态基准掉了十几个点，这属于典型的“标尺对但约束没跟上”。

3. 从零开始复现一份ViTCoP剪枝流程

3.1 准备阶段：校准集和待剪枝单元清单

动手前先列一张清单，避免中途反复。

第一，校准集。不要用纯文本语料，也不要只放几十张图。一个可靠的校准集至少要包含512到2048个图文对，覆盖分类、描述、视觉问答、OCR等场景。校准集的覆盖度直接决定重要性分数稳不稳。如果你的模型经常被用在某个垂直场景，校准集里要加大该场景的图文对比例，否则剪完后垂直场景会明显退化。

第二，待剪枝单元清单。结构化剪枝一般处理四类目标：视觉编码器里的通道和注意力头、投影层的输出通道、LLM的注意力头、LLM的FFN中间神经元。投影层虽然参数量小，但经常被忽略；我建议把它放进清单，因为它对多模态对齐的影响非常集中，剪一个通道可能比剪LLM的几十个神经元影响还大。

第三，记录模型原始性能。剪枝之前先在固定的评测集上跑一遍，记录准确率、生成延迟、显存峰值。没有基线，后面就没法判断剪枝到底成不成功。评测集要跟你真实业务场景贴近，不要拿一个不太相关的公开基准就草草了事。

3.2 语义协作分数估计的代码骨架

下面用贴近工程实践的伪代码演示分数估计和mask生成。这个骨架不需要依赖特定框架，换成你熟悉的后端都能实现。

python复制# ViTCoP 伪代码：语义协作分数估计
# 假设 model 包含 vision_encoder, projector, llm

model.eval()
importance = init_importance_structure(model)

for images, texts in calib_loader:
    # 前向：计算多模态语义一致性损失
    vision_feats = model.vision_encoder(images)          # 视觉特征
    proj_feats = model.projector(vision_feats)           # 投影到文本空间
    logits = model.llm_mm(proj_feats, tokenize(texts))   # 多模态前向
    sem_loss = multimodal_semantic_loss(logits, texts)   # 图文一致 + 文本生成

    # 反向：累积每个单元的梯度贡献
    sem_loss.backward()
    for name, module in model.prunable_modules():
        # 梯度幅值 x 激活幅值，近似该单元对语义目标的敏感度
        grad_mag = module.weight.grad.abs().mean(dim=0)
        act_mag = module.activation.abs().mean(dim=0)
        importance[name] += grad_mag * act_mag

importance = normalize_over_calib(importance)

# 分层剪枝率约束下生成mask
mask = {}
for name, score in importance.items():
    keep_ratio = layer_keep_ratio[name]                 # 例如 vision: 0.9, projector: 0.9, llm: 0.65
    threshold = quantile(score, 1 - keep_ratio)         # 该层阈值
    mask[name] = score >= threshold

这段代码里有三个细节值得单独说。

第一个细节：分数为什么用“梯度幅值乘以激活幅值”，而不是只看梯度。因为在某些层里，梯度可能很小但激活很大，说明这个单元处于“低频高影响”状态；两者相乘可以平衡两种极端，更接近真实的贡献度。如果你想要更稳的估计，可以在多个batch上做平滑，或者用指数移动平均，避免个别batch的噪声干扰排序。

第二个细节：loss必须是多模态语义一致性损失。如果只保留纯文本生成损失，剪枝就会退化成单模态LLM剪枝，视觉编码器和投影层的评分会失真。项目实践里，这个损失通常包含三项：文本生成NLL、图文对比损失、跨模态注意力正则项。文本生成NLL保证语言能力不崩，图文对比损失保证图文能对齐，跨模态注意力正则项防止剪枝后注意力分布失衡。三项的权重需要简单调，一般对比损失权重高一点，因为它是跨模态对齐的直接监督。

第三个细节：mask生成必须尊重分层约束。如果跳过分层约束，直接对所有模块的分数做全局排序，视觉编码器很可能会被剪得最狠，因为它的大部分通道对语言生成的边际贡献确实不高。很多项目里出现“剪完视觉编码器后，模型视觉问答掉10个点”的情况，往往就是没加这个约束。

3.3 剪枝速度和精度的平衡实操

生成mask之后，真正执行剪枝不是简单把权重置零完事。结构化剪枝需要重建被剪后的模型：删除对应通道或神经元，调整后续层的输入维度。如果工程上不方便删除维度，可以先用binary mask屏蔽，再做低秩微调恢复，最后导出静态mask模型。

微调恢复是精度关键。ViTCoP这类方法虽然比“剪完直接用”的精度好不少，但剪掉的参数必然带来信息损失，需要一小段低秩微调来补偿。我的建议是：固定mask，冻结被mask住的参数，只更新保留部分的参数；或者用低秩适配器在残差上学习恢复信号。不要开大学习率去全量微调，那样参数分布偏移太大，可能找不回原来的多模态对齐关系。

实操中一组比较稳的超参数大概是：剪枝率20%到40%，校准集1024个图文对，微调2000到4000步，学习率1e-5到5e-5，低秩维度64左右。不要一开始就冲50%剪枝率，哪怕语义协作分数再准，过高的压缩率都会触发多模态能力的非线性崩塌。先跑20%，确认精度恢复，再逐步往上加。如果你手头的机器很紧张，低秩微调阶段可以只调注意力层和投影层，放弃FFN的微调，这样收敛更快，损失也不大。

4. 效果评估与常见方案对比

4.1 用一张表把指标看全

评估剪枝效果不能只看参数量。多模态模型压缩的验收标准至少包含四层：语言能力、视觉理解、推理效率和显存占用。

我自己在做压测时还会额外记录一个指标：视觉输入下的首token延迟，也就是prefill time。这个指标对视觉应用非常关键，因为一个batch可能塞了几百个视觉token，prefill阶段的计算压力甚至比后续自回归还大。有些方案看起来生成吞吐提升不少，但首token延迟反而变长，视觉应用的实际体验并没有变好。

拿我手上的一个模拟7B级LVLM做内部测试，剪枝率35%时，相对原始模型的表现是：参数减少约35%，多模态基准准确率下降不到1个百分点，峰值显存降低约三成，生成吞吐提升约四成。注意这是示意数据，换个模型、换个校准集结果会明显浮动，但它能说明一个趋势：协作剪枝可以在“减参数”和“保多模态能力”之间取得比传统剪枝更好的平衡。

4.2 跟量化、蒸馏放一起看

聊剪枝就绕不开量化与蒸馏，实际部署时这三者往往被放在一起比较。

量化是把权重和激活从高精度压到低精度，方案成熟、硬件支持好，但它不改变参数量和KV cache的token数量。对“显存因为视觉token爆掉”的场景，量化帮助有限。剪枝则能实打实地减少参数和结构维度，两者解决的不是同一个瓶颈。

蒸馏是用一个未压缩的大模型当老师，指导小模型学习。效果通常好，但成本高：训练完大模型之后还要保存完整teacher，显存和算力都翻倍。ViTCoP这种剪枝方案不需要额外的大模型当老师，只需要一个校准集和一次重要性评估，资源友好得多。

另一个优势是这三者可以叠加。先做ViTCoP结构化剪枝，再对剩余参数做低精度量化，或者用小规模蒸馏做精度恢复，能够吃到两边的红利。实测中我发现，剪枝和量化叠加时，精度下降不是简单的相加，而是会出现非线性放大。所以叠加时要把每一步的压力都留得保守一点，剪枝率先降到20%左右，量化用混合精度而不是全量低位，这样整体收益才稳。

5. 实际落地时最常踩的坑

5.1 校准集选得不好，分数全部失真

这是最常见的坑。校准集如果只有单一领域的图片，模型会“考试式”地学会只保护该领域的能力。比如校准集全是自然风景图，剪完之后OCR和图表理解能力可能明显退化，但风景类任务分数还挺高。

我的经验是：校准集至少包含5到10个视觉任务类型，类别尽量均衡；每类最少100张图；如果目标场景特别垂直，记得在通用集里混入20%到30%的垂直样本。宁可图像数量少一点，也要让覆盖广一点。另外，校准集的标注质量也要检查一遍，有些图文对本身图文不匹配，会让语义一致性损失给出错误的评分信号。

5.2 视觉编码器剪过头，幻觉率上升

当多模态基准掉得厉害时，先查视觉编码器的实际剪枝率。很多方案里视觉编码器只占总参数很小比例，全局剪枝率看着不高，但它内部可能已经被剪掉了四成通道。视觉通道缺失会让模型在细节区域“脑补”，直接表现为物体幻觉上升。

对策是给视觉编码器单独设置更保守的分层上限。比如LLM主干可以剪35%，视觉编码器最多剪10%到15%。如果业务对细粒度视觉理解要求很高，可以先不剪视觉编码器，只剪投影层和LLM主干，等精度确认稳定再试探性压缩视觉部分。这个保守策略对多模态能力保护非常有效，代价是总压缩率会被拉低一点，但换回了模型行为的可靠。

5.3 参数量降了，生成速度却没快多少

这个现象通常是因为推理还没吃到“结构化剪枝”的红利。如果剪枝只让权重矩阵变小但计算图没有发生改变，比如只做了稀疏mask，而算子仍按稠密矩阵执行，那FLOPs根本没降。主流深度学习框架对非结构化稀疏的支持也有限，所以ViTCoP这类方法一定要做真正的维度删除，或者用支持mask塌缩的推理后端导出。

另外还有一个容易被忽略的因素：视觉token数量没变。自回归生成阶段，每步的核心成本由KV cache和注意力计算决定，即使模型参数大减，只要每步要处理的视觉token还是几百个，吞吐就很难有质变。这时候需要在token层面配合做剪枝：将不重要的视觉token提前丢弃或合并，把KV cache的序列长度降下来。很多落地项目把这两步叫“权重剪枝加token剪枝”组合拳，缺一不可。

5.4 剪枝后的微调阶段把mask忘了

低秩微调或普通微调时，如果忘了固定mask，被剪掉的通道可能通过梯度更新“复活”，或者微调后参数分布偏移导致剪枝位置不再合理。解决办法是：整个微调阶段用纯结构化重建后的模型，不要一直依赖mask；或者严格冻结被剪参数。否则上线前的量化校准会因为参数分布漂移，产生额外精度损失。

具体来说，如果预算允许，我会先做一次“剪枝后紧凑模型导出”，把维度真正改小，然后再跑低秩微调。这样后续无论做量化还是部署，都不会再遇到mask残留的问题。如果你只能临时用mask顶一下，记得在导出模型之前再做一次结构化简，把mask对应的维度物理删除，别带着mask部署。

5.5 重要度分数在层与层之间不可比

还有一个容易被忽略的细节：不同层输出的激活量纲差异很大，直接把各层的分数拼在一起全局排序，可能会让某个层因为激活特别小而被整体误伤。ViTCoP这类方案一般会先对每层分数做归一化，比如除以该层分数的均值或中位数，再参与全局排序。

我见过一个项目，因为没做层间归一化，FFN层分数整体偏大，注意力层分数整体偏小，结果剪枝时注意力层被剪得过多，模型的长距离多模态关联能力受损。加了归一化之后，各层的实际剪枝比例更接近分层计划，效果立刻稳下来。

最后分享一点我做这类压缩任务的心得。过去我很迷信“把语言loss的梯度取出来排序再剪”这种简单方案，觉得省事。但在LVLM上试过几次多模态能力滑坡之后，我切身体会到：剪枝的标尺必须和最终业务目标同构。如果业务是多模态理解，标尺就得多模态语义一致性；如果业务是纯文本生成，那用语言损失反而更合适。ViTCoP这种视觉文本协作的思路，真正解决的是“标尺错位”的问题，实操价值大于单纯追求压缩率。下一步如果你要部署到端侧，我建议把ViTCoP和token级别的视觉稀疏化、低精度量化放一起做，先在几个垂直场景各跑一遍校准集，效果会比直接上极端压缩率稳定很多。