1. Scaling Law的困境与结构主义AI的崛起
2025年圣诞节，斯坦福大学博士后、清华大学助理教授刘子鸣发表了一篇引发AI领域广泛讨论的文章，直指当前大模型发展中的核心矛盾。作为KAN（Kolmogorov-Arnold Networks）网络的第一作者，他提出了一个尖锐观点：Scaling Law虽然能通过不断增加模型规模来提升性能，但这种"大力出奇迹"的做法终将面临能源和数据的双重瓶颈。
提示：Scaling Law指的是模型性能与模型规模、数据量、计算量之间的幂律关系，即通过增加这些要素可以持续提升模型表现。
刘子鸣的论述并非全盘否定Scaling Law的价值，而是指出这种方法的本质是用无限资源换取"伪智能"。就像天体力学发展初期的第谷·布拉赫，现代AI也陷入了数据驱动的经验主义阶段——我们收集更多数据、训练更大模型，却很少思考这些做法背后的理论支撑。
2. Scaling Law的双重瓶颈解析
2.1 能源之墙：算力的物理极限
当前大模型训练所消耗的能源已经达到惊人规模。以GPT-4为例，其训练过程消耗的电力相当于一个小型城市数月的用电量。随着模型规模指数级增长，能源需求也将呈几何级数上升。刘子鸣指出：
"如果按照现有轨迹发展，到2030年，训练一个顶级AI模型所需的能源可能超过某些国家的年度总用电量。这不仅在经济上不可持续，在环保层面也将面临巨大压力。"
更关键的是，摩尔定律正在放缓，计算硬件的能效提升速度已经跟不上模型规模扩张的需求。这意味着单纯依靠硬件进步来突破能源瓶颈的希望越来越渺茫。
2.2 数据之墙：高质量数据的枯竭
另一个被忽视的问题是高质量训练数据的枯竭。当前大模型的训练数据主要来自：
- 互联网公开文本（维基百科、新闻网站等）
- 专业书籍和论文
- 代码仓库
- 经过清洗的对话数据
这些数据源的增长速度远低于模型对数据量的需求增速。更糟糕的是，随着AI生成内容(AIGC)的泛滥，互联网上的"数据污染"问题日益严重——未来的大模型可能不得不用其他AI生成的内容进行训练，导致"模型自噬"现象。
3. 结构主义AI的理论基础
3.1 从开普勒到牛顿的启示
刘子鸣用科学史上的经典案例阐释结构主义的核心价值：
- 第谷阶段：通过精密观测记录行星位置数据
- 开普勒阶段：发现行星运动三大定律，用椭圆轨道描述运动轨迹
- 牛顿阶段：提出万有引力定律，用简洁公式解释所有观测现象
现代AI仍停留在"第谷阶段"，即通过海量数据记录现象。虽然出现了类似"开普勒定律"的经验规律（如Scaling Law），但缺乏类似牛顿力学的基础理论支撑。
3.2 智能即压缩：结构主义的核心理念
Ilya Sutskever曾提出"压缩即智能"的观点，刘子鸣进一步发展了这一思想。他认为真正的智能应该能够发现并利用世界的底层结构，实现高效的信息压缩。例如：
- 雪花虽然表面复杂，但其分形结构使其内在复杂度极低
- 行星运动看似随机，实则遵循简洁的物理定律
- 化学反应变化多端，但受限于元素周期表和化学键规则
当前的大模型就像试图用查找表记录行星每个时刻的位置，而结构主义AI则追求发现控制这些现象的深层规律。
4. KAN网络的实践探索
4.1 传统神经网络的局限性
主流神经网络(MLP)存在几个关键缺陷：
- 结构缺失：完全依赖数据驱动，缺乏先验知识注入
- 低效学习：需要大量样本才能学习简单规律
- 解释性差：难以理解模型内部的决策过程
4.2 KAN网络的创新设计
Kolmogorov-Arnold网络(KAN)通过以下创新解决了这些问题：
- 基于数学定理：建立在Kolmogorov-Arnold表示定理基础上
- 可解释结构：网络层对应具体的数学运算
- 高效学习：对结构化问题需要更少训练数据
- 灵活适配：可以针对不同任务调整网络结构
python复制# 简化的KAN网络结构示例
class KANLayer(nn.Module):
def __init__(self, input_dim, output_dim):
super().__init__()
self.basis_functions = nn.ModuleList(
[nn.Linear(1, output_dim) for _ in range(input_dim)]
)
def forward(self, x):
# 对每个输入维度应用独立的基础函数
outputs = [bf(x[:, i:i+1]) for i, bf in enumerate(self.basis_functions)]
return torch.sum(torch.stack(outputs), dim=0)
4.3 KAN的实际表现
在科学计算任务中，KAN展现出显著优势：
| 任务类型 | MLP表现 | KAN表现 | 数据需求比 |
|---|---|---|---|
| 微分方程求解 | 0.12 RMSE | 0.03 RMSE | 1:5 |
| 符号回归 | 30% 准确率 | 85% 准确率 | 1:10 |
| 物理规律发现 | 需要明确公式 | 可从数据发现 | 1:8 |
5. 结构主义AI的层级框架
刘子鸣提出了任务的三分法框架，为结构主义AI的发展指明了方向：
5.1 类物理任务
特点：
- 高度结构化
- 强规律性
- 可精确描述
示例：
- 天体运动预测
- 量子力学计算
- 电磁场模拟
适合方法：
- 符号推理
- 数学建模
- 物理引擎
5.2 类化学任务
特点：
- 中等结构化
- 规律存在但复杂
- 近似描述可行
示例：
- 分子性质预测
- 反应路径规划
- 材料设计
适合方法：
- 图神经网络
- 几何深度学习
- 多尺度建模
5.3 类生物任务
特点：
- 弱结构化
- 统计规律主导
- 难以精确描述
示例：
- 蛋白质折叠
- 生态系统模拟
- 经济行为预测
适合方法：
- 深度学习
- 强化学习
- 群体智能
6. 实现AGI的关键路径
6.1 抽象能力的培养
刘子鸣认为抽象能力是AGI最核心的瓶颈。真正的抽象应该能够：
- 识别不同领域间的结构相似性
- 在不同尺度上建立对应关系
- 动态调整抽象层次以适应任务需求
目前的注意力机制虽然是一种抽象尝试，但其基于向量空间和点积相似度的设计限制了抽象能力的发展。
6.2 世界模型的构建
结构主义AI强调世界模型的重要性，其核心特征应包括：
- 可组合性：简单元素可以组合成复杂结构
- 稀疏性：大多数相互作用是局部的
- 时间局部性：变化通常是渐进的
这些特性与物理世界的本质特征高度一致，也是实现可靠推理的基础。
6.3 从外在结构到内在结构
当前AI系统的结构化主要体现在：
- 推理过程的设计
- 智能体框架的构建
- 训练数据的组织
但这些"外在结构"依赖大量人工设计和监督。未来的突破点在于开发具有"内在结构"的模型，使其能够：
- 自主发现和利用结构
- 在不同任务间迁移结构知识
- 动态调整内部结构以适应新环境
7. 结构主义AI的实践挑战
7.1 计算范式的革新
现有GPU计算架构是为密集矩阵运算优化的，而结构主义AI需要：
- 支持稀疏计算
- 适应动态图结构
- 处理不规则数据
这要求从硬件到软件栈的全栈创新。
7.2 训练方法的突破
传统反向传播可能不适合结构学习，需要开发：
- 结构感知的优化算法
- 多目标训练策略
- 元学习框架
7.3 评估体系的建立
需要设计新的评估指标来衡量：
- 结构发现能力
- 知识压缩效率
- 迁移学习效果
而不仅仅是传统的准确率和损失函数。
8. 未来研究方向展望
基于刘子鸣的论述，以下几个方向值得重点关注：
- 数学基础：发展适合描述AI结构的数学语言
- 算法创新：设计能自动发现和利用结构的机器学习算法
- 硬件协同：开发适配结构计算的专用处理器
- 跨学科融合：借鉴物理学、生物学等领域的结构理论
- 应用验证：在科学发现、工程设计等场景验证结构主义价值
结构主义AI代表了一条不同于Scaling Law的发展路径。它可能更难、更慢，但长期来看，这是实现真正智能的必由之路。正如刘子鸣所言："我们缺的不是规模，而是结构。"在资源有限的世界里，只有学会"聪明地"构建AI，才能突破当前的发展瓶颈。