廷哥带你小路超车1. 大语言模型的算术困境与突破契机
大语言模型在解决复杂推理问题时展现出的能力与其在基础算术运算上的笨拙形成了鲜明对比。这种矛盾现象背后隐藏着Transformer架构的本质特征——它本质上是一个基于概率的序列预测器，而非符号处理器。当模型面对"3×7"这样的简单乘法时，实际上是在根据训练数据中的统计模式生成最可能的数字序列，而非进行真正的数学运算。
传统解决方案主要分为两类：工具调用模式和智能体调度模式。前者让模型生成Python等编程语言代码片段，通过外部解释器执行计算；后者则构建复杂的状态机系统，将问题拆解为多个步骤循环调用模型。这两种方法虽然实用，但都存在根本局限——计算过程发生在模型外部，模型本身并未真正"理解"计算逻辑。
Percepta团队的创新之处在于，他们选择在Transformer权重空间内直接构建计算系统。这个思路类似于在神经网络中实现图灵完备的计算机，使得模型能够自主执行程序指令。具体实现上，他们在标准Transformer架构中嵌入了RAM计算机和WebAssembly解释器，任何符合标准的程序代码都可以编译为模型能够直接执行的Token指令序列。
关键突破：模型不再依赖外部计算工具，所有运算过程都在神经网络内部完成，实现了真正意义上的"自主计算"。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 2D注意力头的几何化革新
2.1 传统注意力机制的效率瓶颈
标准Transformer的自注意力机制存在明显的计算效率问题。生成每个新Token时，模型需要对整个历史序列进行全扫描，计算复杂度随序列长度呈O(n)增长。当处理长程序执行轨迹时（如数独求解可能需要上千步推理），这种线性增长的成本变得难以承受。
传统优化方案如稀疏注意力、局部窗口注意力等，虽然能降低计算量，但会牺牲模型处理长程依赖的能力。对于需要精确维护程序状态的计算机模拟任务，这种妥协是不可接受的。
2.2 凸包查询的几何化思路
Percepta团队的创新在于将注意力查询重构为一个计算几何问题。他们设计了一种二维的Key向量表示，使得每个历史Token的Key可以映射到二维平面上的一个点。在这个几何视角下，注意力查询转化为寻找给定查询向量对应的凸包极值点问题。
具体实现上，模型维护一个动态更新的凸包数据结构。在生成每个新Token时：
- 将当前查询向量投影到二维平面