1. Claude模型与可解释性研究背景
大型语言模型(LLM)如Claude已成为当前人工智能领域的重要突破,但其内部工作机制往往被视为"黑箱"。Anthropic公司近期发布的两篇研究论文《Tracing the thoughts of a large language model》和《On the Biology of a Large Language Model》首次系统性地揭示了Claude的"思考"过程。这项研究采用了神经科学领域的技术手段,通过构建替代模型和特征分解的方法,绘制出了模型内部的"归因图"(attribution graphs),相当于为语言模型创造了一套功能性核磁共振成像(fMRI)技术。
提示:归因图技术本质上是一种逆向工程方法,它不直接分析原始模型参数,而是通过构建简化模型来模拟关键特征的行为路径。
Claude作为当前最先进的通用语言模型之一,其3.5版本在多个基准测试中表现出色。该模型采用Transformer架构,具有以下核心特性:
- 上下文窗口扩展到200K tokens,能处理整本小说长度的文本
- 多模态输入处理能力,支持图像和文本的联合理解
- 基于Constitutional AI的安全对齐框架
- 在数学推理、编程和创意写作等任务上展现强大能力
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 模型思考机制的解构方法
2.1 特征分解与归因图构建
研究团队突破性地将神经元活动分解为更小的"特征"单元,每个特征对应可解释的概念表征。例如,在处理"兔子"这个词时,模型可能同时激活"动物"、"长耳"、"胡萝卜"等多个关联特征。这种分解解决了神经网络中普遍存在的多义性(polysemanticity)问题。
构建归因图的具体步骤包括:
- 训练简化版的Claude替代模型
- 使用稀疏自编码器分解神经元激活模式
- 识别和标记具有语义一致性的特征单元
- 追踪特征在计算过程中的传播路径
- 绘制输入到输出的完整影响关系图

2.2 干预实验方法
研究人员借鉴神经科学的实验范式,开发了三种关键干预技术:
- 特征抑制:
