1. 项目概述:LLM自我批评机制的革命性突破
上周DeepMind实验室放出的这篇论文确实让我眼前一亮——他们提出了一种让大语言模型(LLM)通过自我批评(self-critique)显著提升规划能力的方法。在Blocksworld测试环境中,这种方法使规划准确率提升了惊人的89.3%,而且最吸引人的是整个过程完全不需要外部验证机制。作为一名长期关注LLM发展的技术博主,我认为这项技术有三个突破性价值:
首先,它解决了传统规划任务中依赖人工反馈的瓶颈。以往要让LLM完成复杂规划,要么需要大量标注数据,要么依赖外部验证器,就像教小孩学走路时总要有人在旁边扶着。而自我批评机制让模型具备了"自我纠错"能力,相当于给模型装上了内置的导航系统。
其次,这种方法的技术门槛出乎意料地低。论文中展示的Python实现核心代码不到50行,使用常规的Transformer架构就能实现,这意味着普通开发者也能快速上手应用。我特意用Colab复现了他们的demo,确实能在半小时内跑通基础流程。
最重要的是,这种自我迭代的机制展现出了类似人类"反思"的认知特征。当模型生成一个解决方案后,它会自动分析:这个方案是否存在逻辑漏洞?是否符合物理规律?步骤是否冗余?这种内在的批判性思维正是当前AI系统最缺乏的。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心技术解析:自我批评如何运作
2.1 双阶段推理架构
DeepMind设计的这个系统采用了独特的双阶段工作流:
-
提案生成阶段:模型像常规LLM一样接收问题输入,输出初始解决方案。比如在Blocksworld积木世界中,输入可能是"把红色积木放到蓝色积木上方",模型会生成一系列操作步骤。
-
自我批评阶段:同一个模型切换至"批评者"模式,对刚才生成的方案进行系统性检查。这个过程会评估:
- 动作序列是否符合物理约束(比如不能移动不存在的积木)
- 是否存在冗余步骤(比如重复抓取同一积木)
- 最终状态是否达成目标
- 执行路径是否最优
关键技巧:论文中发现,让模型用第三人称视角审视自己的方案(如"这个方案的问题在于...")比第一人称反思("我可能做错了...")效果更好,错误检出率高出23%。
2.2 实现细节揭秘
在代码层面,最精妙的部分是状态追踪器的设计。以下是简化后的Pyt
