QRRanker：基于大模型注意力权重的检索增强排序技术

1. 项目概述：QRRanker的创新价值

在RAG（检索增强生成）系统的实际部署中，我深刻体会到文档检索质量对最终生成效果的决定性影响。传统两步走方案（Embedding召回+Reranker精排）存在三个典型痛点：

1. 几何失真：Embedding模型将文本压缩为固定维度向量时，丢失了query-document间的动态交互特征。就像用身份证照片匹配相亲对象，难以捕捉"为什么这份文档能回答这个问题"的深层逻辑。

2. 视野局限：Pointwise Reranker（如Qwen-Reranker）逐篇评分时，就像老师单独批改试卷却看不到全班成绩分布，无法判断"相对优劣"。

3. 表达障碍：Listwise方案（如RankZephyr）依赖LLM生成排序结果，但自回归生成天然不适合输出精确数值——好比让小说家写数学公式，格式约束和数值精度难以兼顾。

QRRanker的突破在于发现：大模型注意力头中的权重分布，本身就是一种天然的相关性评分。我们团队在金融客服系统实测发现，直接利用这些注意力头进行排序，相比传统方案有三个显著优势：

• 全局对比：单次前向传播同时编码所有候选文档，避免"盲人摸象"
• 连续评分：注意力权重本身就是0-1之间的连续值，无需Likert量表的离散化妥协
• 计算高效：仅需prefill阶段的计算量，比生成式方案快3-5倍

2. 核心技术解析

2.1 QR Head识别方法论

识别有效注意力头的关键在于量化其"检索意识"。我们复现实验时发现，优质QR Head往往具备以下特征：

1. 跨层一致性：在多层网络中保持对关键证据的稳定关注
2. 噪声抵抗：对无关词元（如标点、停用词）的注意力分布均匀
3. 位置不变性：无论相关片段出现在上下文什么位置都能捕获

具体实现时，QR Score的计算需要特别注意：

python复制# 伪代码示例：QR Score计算核心逻辑
def compute_qr_score(attention_weights, query_mask, doc_mask):
    # attention_weights: [num_heads, seq_len, seq_len]
    # query_mask