LLM路由优化：基于因果推理的动态模型选择策略

1. 项目概述：因果驱动的LLM路由优化

在当今大规模语言模型（LLM）应用场景中，一个常被忽视但至关重要的问题是：如何为每个特定查询动态选择最合适的模型？这个问题被称为LLM路由（LLM Routing），其核心挑战在于需要同时平衡多个相互冲突的目标——例如准确率、响应延迟、计算成本和API调用费用等。

传统解决方案通常采用两阶段"预测-选择"模式：首先预测每个候选模型在不同指标上的表现，然后基于这些预测结果选择最优模型。这种方法存在两个根本性缺陷：首先，第一阶段产生的预测误差会在决策过程中被放大；其次，为了训练预测模型，需要收集"全反馈"数据——即每个查询必须由所有候选模型处理并记录结果，这在实践中成本极其高昂。

我们提出的框架从根本上改变了这一范式，具有三大创新点：

1. 直接基于实际部署中收集的"观测数据"（即只记录最终选用模型的性能指标）进行端到端优化
2. 引入因果推理技术处理选择偏差问题
3. 通过遗憾最小化（regret minimization）直接优化路由策略而非中间预测指标

关键洞见：与其费力预测所有可能的选择结果，不如直接学习如何做出好的选择决策。这类似于优秀的棋手不会计算所有可能的走法，而是培养出直接识别优质走法的直觉。

2. 核心方法论解析

2.1 问题形式化建模

我们首先将LLM路由问题形式化为一个随机优化问题。对于每个输入查询x，定义：

• 可用动作集A(x)：可选的LLM集合
• 效用函数yₓ(a) = aₓ(a) - λ·cₓ(a)
  • aₓ(a)：准确率指标（如任务特定评估分数）
  • cₓ(a)：成本指标（如计算耗时或API费用）
  • λ：调节参数，控制准确率与成本的权衡

决策遗憾（regret）定义为：
R(a) = yₓ(a*) - yₓ(a)
其中a*是理论上最优的选择，a是实际采取的动作。

2.2 因果推理框架

观测数据存在固有选择偏差——我们只能观察到被选中模型的性能，而其他候选模型的结果是缺失的。我们采用反事实推理技术解决这个问题：

1. 建立双重稳健估计量（Doubly Robust Estimator）：

   • 结合倾向分数（propensity score）和结果模型
   • 即使其中一个模型有误，仍能保证估计无偏

2. 设计新的损失函