保形信息追踪算法解析与应用优化

1. 保形信息追踪（C-IP）算法解析

1.1 传统信息追踪方法的局限性

在交互式问答系统中，传统信息追踪（IP）方法依赖于语言模型输出的概率分布来计算条件熵和信息增益。这种方法存在两个根本性缺陷：

1. 概率校准问题：大量研究表明，语言模型输出的概率往往无法准确反映真实置信度。例如在医疗问答场景中，当模型对某个诊断有80%置信度时，实际准确率可能只有60%左右。这种过度自信会导致信息增益计算失真。

2. 分布依赖假设：传统方法假设模型输出的概率分布与真实数据分布一致，这个假设在实践中很难成立。特别是在少样本或零样本场景下，模型输出的概率更像是一种排序指标而非真实的置信度。

我在实际项目中发现，当使用GPT-3.5进行多轮医疗问诊时，传统IP方法选择的查询问题经常偏离最优路径。例如会反复询问已经可以排除的症状，而忽略关键指标的确认。

1.2 保形预测的核心思想

保形预测（Conformal Prediction）提供了一种无需依赖模型概率输出的不确定性量化方法。其核心是通过构造预测集（prediction set）来保证覆盖真实结果的概率：

code复制给定显著性水平α ∈ (0,1)
预测集满足：P(Y ∈ C(X)) ≥ 1-α

其中C(X)是基于非一致性分数（nonconformity score）构造的预测集。在实践中，我们通常使用：

• 分类任务：1 - p(y|x) 作为非一致性分数
• 回归任务：绝对误差作为非一致性分数

关键提示：保形预测的优势在于其覆盖概率保证是分布自由的（distribution-free），只要校准集与测试集同分布，无论模型本身校准好坏，都能保持理论保证。

1.3 C-IP算法设计

C-IP算法将保形预测与信息追踪相结合，主要创新点在于：

1. 不确定性度量：用预测集大小|C(X)|代替条件熵H(Y|X)

   code复制当|C(X)|=1时确定性最高
   |C(X)|=K（类别数）时不确定性最高
   

2. 信息增益计算：定义基于预测集的条件信息增益：

   code复制IG(q) = E[|C(X)| - |C(X∪q)|]
   

   其中q是候选查询问题

3. **查询选择