1. 项目背景:当大模型遇上计算器
上周在arXiv上看到Percepta团队的新论文时,我的咖啡差点洒在键盘上——他们居然让大语言模型内部"长"出了一台可编程计算机。这就像给一位饱读诗书的学者突然装上了机械臂,让TA不仅能吟诗作对,还能现场解微积分。作为长期关注AI推理能力的从业者,我立刻下载代码开始复现,结果发现这个看似科幻的方案,实现起来竟出奇地优雅。
传统大模型做算术题有多离谱,用过的人都懂。问GPT"368×491等于多少",它可能给你编个180,688之类的数字(正确答案是180,688)。这不是模型笨,而是它的生成机制本质上是在"猜"下一个token该是什么。就像让人类不用纸笔,纯心算三位数乘法,出错再正常不过。
Percepta团队的突破在于,他们不再强迫模型直接输出答案,而是教会模型自主生成并执行计算步骤。具体来说,当遇到数值计算时,模型会:
- 在内部生成类Python的计算伪代码
- 通过特定机制执行这段代码
- 将执行结果整合到最终输出中
我测试他们的demo时,一个7B参数的模型准确计算出了15的阶乘(1,307,674,368,000),而同样规模的普通LLM在这个问题上错误率超过90%。更惊人的是,这套系统还能处理动态生成的计算逻辑,比如根据用户问题实时构造方程组求解。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心架构解析:模型中的冯·诺依曼机
2.1 计算单元设计原理
团队的核心创新是这个可嵌入Transformer的Neural Computer模块。它包含三个关键组件:
| 组件 | 功能类比 | 实现方式 |
|---|---|---|
| 寄存器堆 | 内存 | 可读写的外部矩阵存储 |
| 算术逻辑单元 | CPU运算核心 | 固化在模型中的数学运算子网络 |
| 程序计数器 | 指令指针 | 基于注意力机制的步骤 |
