Dyingalive1. CREM模型：多模态检索与理解的统一框架
在当今AI领域，多模态大语言模型（MLLMs）已经成为研究热点，但这类模型面临一个关键挑战：生成任务与检索任务之间的性能权衡。传统方法往往顾此失彼——增强检索能力就会削弱生成能力，反之亦然。CREM（Compression-Driven Representation Enhancement for Multimodal Retrieval and Comprehension）模型的提出，正是为了解决这一根本性问题。
提示：CREM的核心创新在于将视觉和文本信息压缩到一组精简的特殊标记（Chorus Tokens）中，作为下游任务的通用表示。这种设计既保留了生成能力，又显著提升了检索性能。
CREM模型在MMEB检索基准测试中取得了72.1分的优异成绩（7B参数规模），超越了mmE5和CAFe等同类模型。更令人印象深刻的是，它在提升检索能力的同时，在MMB、MMVet等生成基准上的性能几乎没有衰减，真正实现了"鱼与熊掌兼得"。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. CREM的核心技术解析
2.1 压缩提示设计与Chorus Tokens
CREM最具突破性的设计是引入了一组可学习的Chorus Tokens，这些特殊标记负责存储和共享压缩后的语义信息。具体实现上：
-
结构设计：Chorus Tokens被插入在检索指令[eInst]和生成指令[gInst]之间，形成统一的提示结构。这种设计允许模型在不同任务间共享相同的语义表示。
-
信息压缩：通过最大化Chorus Tokens与多模态表示之间的互信息（公式1），模型学习将丰富的视觉和文本信息压缩到有限的标记中：
code复制I_V,T;U = D_KL(p(V,T,U)||p(V,T)⊗p(U)) -
注意力控制：CREM设计了压缩感知注意力掩码（公式2），确保问答标记只能通过Chorus Tokens获取信息，而不能直接访问原始图像和文本标记。这种约束强制模型发展出高效的表示压缩能力。
2.2 压缩感知注意力机制
CREM的注意力机制是其成功的关键，它包含几个精妙设计：
- 分层注意力：
- Chorus Tokens可以关注所有输入标记
- 问答标记只能关注Chor