大语言模型关系解码器的属性中心结构与张量网络压缩

1. 大语言模型中关系解码线性算子的结构解析

在自然语言处理领域，Transformer架构的大型语言模型(LLM)如何存储和提取事实知识一直是个黑箱问题。2023年Hernandez等人的突破性研究首次发现，模型内部存在可解释的线性关系嵌入(LRE)矩阵，能够通过简单的仿射变换将主语嵌入映射到宾语嵌入。而本文则进一步揭示了这些关系解码器背后的组织结构规律，为理解语言模型的知识表示机制提供了全新视角。

作为长期从事语言模型可解释性研究的从业者，我认为这项工作的价值在于：它首次系统性地证明了关系解码并非我们想象中那样——为每个特定关系（如"首都-国家"）配备专用解码器，而是采用了一种更高效的"属性中心式"结构。这种结构通过共享粗粒度语义属性（如"所属关系"）来实现跨关系的参数复用，这解释了为什么语言模型能用相对有限的参数规模掌握海量事实知识。

2. 关系解码器的属性中心结构

2.1 从单关系到关系集合的扩展研究

Hernandez等人的原始工作主要针对单个关系（如"首都-国家"）的解码过程，证明了存在一个线性变换矩阵W，使得对于大多数合法的主语s和宾语o，满足：
W·E(s) ≈ E(o) - E(s)
其中E(·)表示词嵌入函数。这个发现虽然重要，但尚未揭示不同关系解码器之间的组织结构。

我们的实验选取了Wikidata中200组高频关系（涵盖地理、生物、文化等领域），通过对比分析发现：

1. 语义相近的关系共享相似矩阵结构：例如"首都所属国家"和"最大城市所属国家"的解码器矩阵在奇异值分布上呈现高度一致性（余弦相似度>0.85）
2. 存在明显的属性聚类：通过t-SNE可视化，所有关系解码器在参数空间自动聚合成若干簇，每个簇对应一个粗粒度语义属性（如图1所示）

图1：200个关系解码器的二维投影（颜色表示不同语义属性簇）

2.2 属性中心式结构的实证验证

为验证这一假设，我们设计了交叉评估协议——将关系R₁的解码器W₁应用于关系R₂的所有主语，观察其输出与真实宾语的匹配程度。关键发现包括：

1. 高置信度块结构：当R₁和R₂属于同一语义属性时（如都表示"所属关系"），解码准确率平均达到72%，显著高于随机基线（<5%）
2. 层级化属性组织：更高层的抽象属性（