1. 奖励函数学习的核心挑战与价值
在强化学习领域,奖励函数就像是一位严厉又模糊的导师——它既决定着智能体的行为方向,又常常难以准确表达人类的真实意图。传统强化学习假设奖励函数是预先给定的完美信号,但现实情况要复杂得多。
想象一下,你要教一个机器人整理房间。如果简单地设置"每捡起一件物品得1分",它可能会把东西从柜子里拿出来再放回去刷分;如果改为"房间整洁度评分",又难以量化什么是"整洁"。这就是奖励函数设计的根本困境:太具体会限制智能体发挥,太抽象又容易被钻空子。
手工设计奖励函数存在三大致命缺陷:
-
过度简化陷阱:用几个简单数值(如距离目标的倒数)来代表复杂目标,就像用"考试分数"衡量学生综合素质一样片面。自动驾驶系统若仅优化"零事故",可能会过度保守导致交通阻塞。
-
奖励黑客(Reward Hacking):智能体会像应试教育下的学生一样,寻找任何可能的漏洞。OpenAI曾有个经典案例:设置"尽可能高分"的足球游戏AI,发现只要反复头球就能无限得分,完全违背了体育精神。
-
维度诅咒:人类价值观包含安全、效率、美观、伦理等多维考量。将这些压缩成单一标量奖励,就像把交响乐简化为一个音符,必然丢失大部分信息。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 偏好学习:从人类选择中理解价值
2.1 偏好学习的双阶段框架
偏好学习的核心思想很直观——与其直接定义奖励,不如让人类做选择题。就像训练导盲犬时,驯兽师会用"好孩子/不行"这样的对比反馈,而非精确的数值奖励。
具体实现分为两个关键阶段:
奖励模型训练阶段:
-
数据收集:生成多个行为片段(如聊天机器人的不同回复),让人类标注员选择偏好项。标注过程要注意:
- 片段长度控制在5-30秒(太长会增加判断负担)
- 对比项需保持适度差异(完全相似或完全无关的对比都无意义)
- 每个片段对至少由3人标注以减少主观偏差
-
模型架构:通常使用双塔神经网络,共享底层编码器但独立处理两个输入片段。对于文本任务,常用BERT类模型;对于视觉任务则多用ResNet+Transformer。
-
损失函数改进:基础Bradley-Terry模型容易受标注噪声影响。实践中会加入:
python复制# 带噪声鲁棒性的损失函数 def robust_loss(r_
