ReDiPrune：多模态大语言模型的高效视觉令牌剪枝技术

1. 项目概述

多模态大语言模型（MLLMs）在处理视觉信息时面临一个关键挑战：视觉编码器生成的令牌数量庞大，导致Transformer注意力计算呈二次方增长。这不仅带来高延迟和高内存占用，还严重影响了模型的推理效率。传统方法多在视觉令牌经过"投影器"映射到语言空间后进行剪枝，这种方式容易丢失细粒度视觉信息，且往往需要微调或依赖特定架构。

ReDiPrune创新性地提出了一种免训练、即插即用的令牌剪枝方法，其核心思想是在视觉-语言投影器之前就对视觉令牌进行剪枝。这种方法保留了原始视觉特征的丰富性与判别力，同时显著提升了模型效率。

2. 核心创新解析

2.1 预投影剪枝的优势

传统后投影剪枝方法存在几个固有缺陷：

1. 信息损失：跨模态投影会改变原始视觉特征的分布，导致剪枝时难以准确评估令牌的重要性
2. 架构依赖：许多方法需要针对特定模型架构进行微调
3. 计算冗余：所有视觉令牌都需要先经过投影计算，造成资源浪费

ReDiPrune的预投影剪枝直接在视觉编码器输出空间操作，具有以下优势：

• 保留原始视觉特征的全部信息
• 避免不必要的投影计算
• 与模型架构解耦，实现真正的即插即用

2.2 双目标评分机制

ReDiPrune通过精心设计的双目标评分机制选择最具价值的视觉令牌：

文本相关性评分

1. 从用户提示中提取关键词构建加权查询向量
2. 计算每个视觉令牌与查询向量的余弦相似度
3. 相似度越高表示令牌与问题相关性越强

视觉多样性评分

1. 基于令牌间的余弦不相似度评估
2. 确保选中的令牌在特征空间分布均匀
3. 避免选择过于相似的冗余令牌

2.3 贪心选择策略

ReDiPrune采用两阶段贪心算法进行令牌选择：

1. 初始选择：挑选与文本查询最相关的单个令牌
2. 迭代扩展：在每一步，选择使以下目标最大化的令牌：

   code复制目标 = α×相关性 + (1-α)×多样性
   

   其中α是平衡两个目标的超参数

这种策略保证了最终选择的令牌集合既与问题高度相关，又能覆盖视觉场景的不同方面。

3. 实现细节与技术要点

3.1 系统架构设计

ReDiPrune的整体工作流程可分为四个关键步骤：

1. 视觉编码：使用标