REER方法：反向工程构建高质量AI推理数据

1. 反向工程构建高质量推理合成数据：原理与实践

在人工智能领域，深度推理（deep reasoning）技术近年来在数学解题、代码生成等可验证任务上取得了显著进展。然而，当我们试图将这些技术迁移到创意写作、开放式问答等不可验证的开放生成场景时，却面临着两个关键瓶颈：一是缺乏高质量奖励模型，导致训练代价高昂；二是通过教师模型进行蒸馏不仅成本昂贵，还受限于教师模型的能力上限。

针对这些挑战，REER（REverse-Engineered Reasoning）提出了一种全新的范式——从已知的高质量答案出发，反向构建推理思维链。这种方法的核心思想是：给定输入和高质量参考答案，反问"什么样的思考过程最可能导出该答案？"，并通过优化困惑度（perplexity）来寻找最优推理轨迹。

2. REER方法详解

2.1 反向工程推理的基本原理

传统推理生成通常采用正向方法：从用户请求出发，通过试错或模仿生成推理过程。与之不同，REER采用逆向思维，其数学表达可以表示为：

给定输入x和高质量参考答案y，寻找推理轨迹τ，使得：

τ* = argmin PPL(y|τ,x)

其中PPL表示困惑度，用于衡量推理轨迹τ生成答案y的可能性。这种方法本质上是在解一个逆向问题：已知结果，求最可能的推导过程。

2.2 无梯度合成方法

REER提出了一种创新的无梯度（gradient-free）合成方法，具体步骤如下：

1. 初始化：从已有高质量答案对(x,y)开始，生成初始推理轨迹τ0
2. 分段处理：将τ0分割为若干逻辑段落
3. 扩写替换：对每个段落pi进行以下操作：
   • 扩写：基于上下文生成更详细的解释
   • 替换：用不同表达方式重述相同逻辑
4. 选择优化：使用PPL作为代理指标，选择最优的扩写/替换版本
5. 迭代终止：当PPL不再显著改善时停止迭代

这种方法的关键优势在于：

• 无需可验证奖励函数
• 避免昂贵的蒸馏过程
• 能够规模化合成高质量推理轨迹

3. DeepWriting-20K数据集构建

3.1 数据收集与处理流程

基于REER方法，研究团队构建了DeepWriting-20K数据集，具体流程如下：

1. 任务分类：确定25类开放式生成任务，包括创意写作、议论文、