PSE方法：并行符号枚举在物理定律自动发现中的突破

1. 从数据中自动发现物理定律：PSE方法的突破性进展

在科学研究的漫长历史中，人类一直在寻找描述自然现象的基本规律。从牛顿的万有引力定律到爱因斯坦的质能方程，这些简洁而优美的数学表达式揭示了宇宙运行的深层机制。然而，随着科学问题的日益复杂，传统的人工推导方法遇到了瓶颈——我们迫切需要一种能够直接从观测数据中自动发现数学规律的工具。

中国人民大学高瓴人工智能学院孙浩教授团队近期发表在《自然-计算科学》的封面文章，提出了一种革命性的解决方案：基于并行符号枚举（PSE）的物理定律发现方法。这项研究突破了传统符号回归的两大核心瓶颈——搜索空间爆炸和评估效率低下，在200多个测试问题上实现了接近99%的恢复率，同时将计算速度提升了一个数量级。

2. 符号回归：科学发现的自动化工具

2.1 什么是符号回归

符号回归（Symbolic Regression）是一种不预设模型形式，直接从数据中寻找数学表达式的技术。与传统回归分析不同，它不需要研究人员事先知道变量之间的关系是线性、多项式还是其他特定形式。这种方法特别适合科学发现场景，因为我们往往对未知现象背后的数学结构知之甚少。

举个简单例子：假设我们有一组行星轨道数据，包含各个行星与太阳的距离和它们的公转周期。传统方法可能需要我们先猜测开普勒第三定律（T² ∝ R³）的平方关系，而符号回归可以直接从数据中发现这种精确的数学关系。

2.2 现有方法的局限性

当前主流的符号回归方法主要分为三类：

1. 遗传编程（GP）：模拟生物进化过程，通过选择、交叉和变异操作生成和优化数学表达式。虽然灵活，但计算成本高，容易产生过于复杂的表达式。

2. 稀疏回归（如SINDy）：基于预定义的函数库进行稀疏线性回归。计算效率高但受限于函数库的表达能力，无法发现库中未包含的数学形式。

3. 深度学习方法：使用神经网络生成数学表达式。虽然潜力巨大，但往往需要大量数据，且难以保证生成表达式的简洁性和可解释性。

这些方法共同面临两个根本性挑战：一是数学表达式的搜索空间随问题复杂度呈指数增长；二是每个候选表达式都需要独立评估，导致大量重复计算。

3. PSE框架：并行符号枚举的创新设计

3.1 核心思想：公共子树复用

PSE方法的核心创新在于发现了数学表达式之间的结构相似性。大多数数学表达式都共享相同的子结构，例如sin(x+y)和cos(x+y)都包含x+y这个子表达式。传统方法会分别计算这些子结构，而PSE通过识别和复用这些公共子树，大幅减少了重复计算。

这种思想类似于计算机科学中的"记忆化"（memoization）技术，但PSE将其扩展到了数学表达式树的并行评估场景。在GPU加速下，PSE可以同时评估数亿个候选表达式，这是传统方法无法想象的规模。

3.2 PSRN：并行符号回归网络

PSRN是PSE框架的核心组件，其设计灵感来自神经网络，但有着本质区别：

1. Symbol Layer设计：每个symbol layer不是进行特征变换，而是对输入表达式进行单步组合操作。例如，一个symbol layer可能将输入表达式{x, y}与运算符{+, ×}组合，生成{x+y, x×y}等新表达式。

2. 分层构建表达式：通过叠加多个symbol layer，PSRN可以系统地构建出深度递增的复杂表达式。一个l层的PSRN可以生成所有深度不超过l的数学表达式。

3. GPU并行评估：所有生成的表达式在同一批数据上的评估被组织成张量运算，充分利用GPU的并行计算能力。这使得PSE可以一次性评估海量候选表达式。

3.3 完整工作流程

PSE方法的工作流程可以分为四个关键步骤：

1. 初始化：输入观测数据X和目标变量y，设定基础运算符集合（如+,-,×,÷,sin,cos等）和常数范围。

2. 并行枚举：PSRN逐层生成候选表达式，并在GPU上并行计算所有表达式在数据上的预测值。

3. 最优选择：比较预测值与实际观测值的均方误差（MSE），选择误差最小的表达式结构。

4. 系数优化：对选中的表达式结构进行系数微调，通常使用最小二乘法优化常数项。

这种"先生成后选择"的策略与传统符号回归的逐步优化有本质不同，它通过大规模并行评估直接探索整个搜索空间。

4. 关键技术突破与优化

4.1 DR Mask：重复表达式过滤

在符号枚举过程中，不同路径可能生成数学上等价的表达式。例如，(x+y)和(y+x)在加法交换律下是等价的。PSE引入了DR Mask（Duplicate Removal Mask）技术来识别和过滤这些重复表达式。

具体实现上，DR Mask通过对表达式树进行规范化排序和哈希，快速识别等价表达式。这项优化减少了高达70%的内存占用，使系统能够处理更复杂的表达式。

4.2 系数后处理策略

PSE采用了两阶段优化策略：

1. 结构搜索阶段专注于发现正确的数学表达式形式
2. 系数优化阶段使用数值方法精调表达式中的常数参数

这种分离策略有显著优势：结构搜索可以专注于数学关系的本质，而不被参数优化干扰；而找到正确结构后，参数优化通常是一个凸优化问题，容易求解。

4.3 与物理先验的结合

虽然PSE原则上可以完全从数据出发，但研究显示适当融入领域知识能显著提升发现效率。在EMPS机电系统实验中，研究人员加入了牛顿力学的基本形式和摩擦力的sign函数，引导搜索朝向物理合理的表达式。

这种"物理引导的符号回归"代表了科学发现的新范式：既充分利用数据的统计规律，又尊重已知的物理约束。

5. 实验结果与性能分析

5.1 标准测试集表现

研究团队在多个经典符号回归基准上测试了PSE方法，包括：

• Nguyen系列：测试多项式、三角函数等基本数学关系
• R系列：重点关注有理分式表达式
• Feynman系列：基于费曼物理学讲义中的公式

在这些测试中，PSE的表现显著优于现有方法。特别是在R系列有理分式问题上，PSE实现了100%的恢复率，而其他方法大多低于20%。这是因为有理分式在局部近似上与多项式相似，容易误导传统方法，而PSE的大规模并行评估可以避免这种局部最优陷阱。

5.2 混沌系统识别

混沌系统的微分方程通常包含非线性项，传统方法难以准确识别。研究测试了16种混沌系统，在1%-10%的噪声水平下，PSE都能准确恢复控制方程。例如，在洛伦兹系统中，PSE成功发现了经典的三变量非线性耦合方程：

dx/dt = σ(y-x)
dy/dt = x(ρ-z)-y
dz/dt = xy-βz

这种能力对于复杂系统的建模和预测具有重要意义。

5.3 计算效率提升

PSE最显著的优势之一是计算速度。在相同硬件条件下，PSE比传统方法快10-100倍。这种加速主要来自三个方面：

1. 公共子树复用减少了90%以上的重复计算
2. GPU并行实现了数万倍的评估吞吐量
3. 高效的表达式过滤避免了不必要的计算

对于深度不超过6的表达式，PSE通常能在几分钟内完成搜索，而传统方法可能需要数小时。

6. 应用前景与未来方向

6.1 潜在应用领域

PSE方法在多个领域具有广阔应用前景：

1. 基础科学研究：从实验数据中发现新的物理定律或经验公式
2. 工程建模：建立复杂系统（如流体动力学、结构力学）的简化模型
3. 金融建模：发现市场变量之间的非线性关系
4. 生物医学：从基因表达数据中识别调控网络

6.2 当前局限性与挑战

尽管PSE取得了显著进展，但仍有一些限制：

1. 算子库依赖：无法发现算子库中未包含的数学形式
2. 高维问题：变量数量增加会显著扩大搜索空间
3. 硬件需求：大规模并行评估需要GPU加速

6.3 未来研究方向

基于当前成果，几个有前景的发展方向包括：

1. 自适应算子学习：动态扩展算子库以涵盖新发现的数学形式
2. 分层搜索策略：结合粗粒度筛选和精细优化
3. 物理约束集成：将量纲分析、对称性等物理原理融入搜索过程
4. 混合方法：结合神经网络的特征提取能力和符号回归的可解释性

7. 实操建议与经验分享

对于希望应用PSE方法的研究人员，以下建议可能有所帮助：

1. 数据预处理：确保数据质量，适当的标准化可以提高符号回归的稳定性。对于涉及不同量纲的物理量，考虑使用无量纲化处理。

2. 算子选择：根据领域知识精心设计初始算子集合。包含太多无关算子会增加搜索难度，而遗漏关键算子则可能导致无法发现真实规律。

3. 参数设置：表达式深度需要平衡表达能力和搜索效率。通常从较浅的深度开始，逐步增加。

4. 结果验证：对发现的数学表达式进行严格的物理合理性检查。符号回归可能发现数据中的虚假关联，需要领域知识进行验证。

5. 硬件利用：充分利用GPU并行计算。对于大规模问题，考虑多GPU或分布式计算。

在实际应用中，我们发现结合领域专家的直觉可以显著提高发现效率。例如，在材料科学实验中，预先确定可能的变量依赖关系可以缩小搜索空间。同时，建议采用逐步复杂化的策略：先寻找简单关系，再逐步增加复杂度。