1. 研究背景与动机
人类联想学习机制一直是认知科学领域的核心课题。简单来说，联想学习就是当我们反复看到"苹果"和"红色"这两个词一起出现时，大脑会自动建立它们之间的联系。这种能力看似简单，却是人类语言理解和知识构建的基础。
传统上，研究这个问题主要依靠脑成像技术（如fMRI）或动物实验。但这类方法存在明显局限：人脑实验难以精确控制变量，动物模型又无法完全模拟人类认知。这就好比想研究汽车发动机原理，却只能通过听引擎声音或者观察自行车来推测 - 显然不够直接。
大型语言模型的出现提供了全新研究视角。这些模型在训练过程中吸收了海量文本数据，形成了类似人类语言的表征系统。更重要的是，我们可以精确控制模型的输入，实时观测其内部表征变化 - 这就像给认知研究装上了显微镜和操纵杆。
2. 实验设计与方法
2.1 核心实验范式
研究团队设计了一个精巧的"单词配对"实验：
- 刺激材料：选取了500对英语单词组合（如"apple-red"）
- 呈现方式：以"提示-补全"形式输入模型（如："When I say apple, you say __"）
- 训练过程：每对组合重复呈现10次，观察模型预测准确率变化
- 测量指标：使用余弦相似度计算隐藏层表征的变化
这个设计模拟了经典的配对联想学习实验，就像心理学实验中让受试者记忆单词对一样。
2.2 关键控制变量
研究特别关注两个重要维度：
-
初始相似度：将词对按预训练表征相似度分为17个等级
- 高相似度对（如"dog-puppy"）
- 中等相似度对（如"book-knowledge"）
- 低相似度对（如"apple-mountain"）
-
词汇干扰度：量化新关联与模型已有知识的冲突程度
- 比如让模型学习"apple-banana"（强先验）vs"apple-cloud"（弱先验）
2.3 模型选择
实验涵盖了6个主流开源模型：
- Llama2-7b
- Llama3-8b/70b
- Gemma2-9b
- Mistral-7b
这种组合确保了研究结果的普适性，同时可以考察模型规模的影响。
3. 核心发现与解读
3.1 学习三阶段动态
所有模型都表现出明显的阶段性学习模式：
-
编码期（第1-3次呈现）：
- 准确率快速上升（平均提升40%）
- 表征变化剧烈，相似度波动大
-
巩固期（第4-7次呈现）：
- 准确率稳定在85%左右
- 表征变化呈现规律性模式
-
遗忘期（部分模型出现）：
- Llama2-7b在第8次后准确率下降15%
- 可能与注意力机制调整有关
实操提示：当用LLMs研究学习过程时，建议至少设置10个训练epoch才能观察到完整动态。
3.2 非单调表征变化
最惊人的发现是表征变化的U型曲线：
| 初始相似度 | 表征变化趋势 | 生物学对应理论 |
|---|---|---|
| 低(0-0.3) | 显著整合↑ | Hebbian学习 |
| 中(0.3-0.6) | 明显分化↓ | 模式分离 |
| 高(0.6-1) | 基本稳定→ | 记忆巩固 |
这个结果完美验证了非单调可塑性假说(NMPH) - 即大脑会根据输入相似度采用不同的学习策略。
4. 技术实现细节
4.1 表征测量方法
研究使用隐藏层激活向量的余弦相似度：
python复制import torch.nn.functional as F
def get_similarity(model, token1, token2):
with torch.no_grad():
emb1 = model.get_embeddings(token1)
emb2 = model.get_embeddings(token2)
return F.cosine_similarity(emb1, emb2, dim=0)
关键技巧：
- 取最后3层的平均值
- 使用预训练时的原始分词器
- 测量前对batch normalization层做冻结
4.2 实验控制要点
为确保结果可靠性，研究团队特别注意：
- 温度参数设为0.3避免随机性
- 每个词对单独运行避免交叉影响
- 使用相同的随机种子(42)保证可复现
- 对每个数据点进行5次重复测量
5. 实际应用启示
5.1 对AI训练的指导
研究发现对模型微调有直接参考价值：
- 中等相似度的样本需要更多学习次数
- 高相似度样本容易引发灾难性遗忘
- 建议采用动态学习率：初期高LR促进整合，后期低LR促进分化
5.2 对人类教育的类比
有趣的是，这些发现与教育心理学高度吻合：
- 全新概念（低相似度）需要与已有知识建立联系
- 易混淆概念（中相似度）需要强化区分
- 熟悉概念（高相似度）只需少量复习
6. 局限与未来方向
当前研究存在几个值得注意的限制：
- 仅测试了decoder-only架构
- 词对关系限于简单联想
- 没有考察多模态情境
建议后续工作可以：
- 引入视觉-语言联合表征
- 测试更复杂的关系类型
- 探索不同注意力头的作用
我在复现实验时发现，模型对具体名词（如"苹果"）的学习效果明显优于抽象概念（如"自由"）。这可能是因为预训练数据中具体名词的共现模式更稳定。一个实用的调整技巧是：对抽象概念可以适当增加训练次数（约+30%），同时降低学习率（约×0.7）。