大语言模型采样行为与人类决策的相似性研究

1. 大语言模型采样行为的本质解析

在人工智能领域，大语言模型（LLMs）的决策机制一直是个黑箱。最近一项获得ACL 2025最佳论文奖的研究揭示了令人惊讶的发现：LLMs的采样行为与人类决策机制存在惊人的相似性。这项研究通过严谨的实验设计证明，当LLMs进行响应采样时，其决策过程同时受到两个关键因素影响——这与人类认知中的"系统1"思维模式高度吻合。

1.1 双成分驱动机制

研究发现，LLMs的采样过程由描述性成分和规定性成分共同驱动。描述性成分反映的是统计常态——即模型在训练数据中观察到的频率分布。例如，当询问"普通人每天看电视多长时间"时，模型会基于训练数据中的相关统计信息给出回答。

而规定性成分则更为复杂，它代表了模型内化的"理想范式"。这种理想范式可能来自多个方面：

• 训练数据中隐含的价值取向（如新闻报道中的倾向性表述）
• 人类反馈强化学习（RLHF）过程中注入的偏好
• 预训练阶段形成的概念原型

1.2 与人类认知的惊人相似

这种双成分机制与人类认知心理学中的发现高度一致。诺贝尔奖得主Daniel Kahneman在《思考，快与慢》中提出的"系统1"思维正是这种快速、直觉性的决策模式。当人类被问及"理想的看电视时间"时，我们的回答同样会偏离实际统计值，而倾向于给出一个"应该"的值。

研究团队设计了精巧的实验来分离这两种成分。在一个虚构概念"glubbing"的实验中，他们发现：

• 当仅提供统计信息时，LLMs能准确反映数据分布
• 一旦引入价值评价（如A+到D-的等级），采样结果就会系统性偏离统计均值
• 这种偏移方向完全跟随价值评价体系的变化

2. 实验设计与验证过程

2.1 新异概念控制实验

为了排除预训练知识的干扰，研究团队创造了一系列虚构概念（如"glubbing"）进行控制实验。实验设计包含三个关键要素：

1. 统计基线建立：使用高斯分布生成数据样本，确保已知真实的统计分布
2. 价值系统操控：设置正向、负向和中性的价值评价体系
3. 双重验证机制：同时测量模型对统计均值的报告能力和实际采样行为

实验结果显示，在价值中性条件下，LLMs能够准确报告和采样统计分布。但当引入价值评价后，采样结果会出现系统性偏移——正向评价导致上偏，负向评价导致下偏。