高斯过程与贝叶斯优化核心原理及工程实践

markdown复制## 1. 高斯过程与贝叶斯优化基础解析

### 1.1 高斯过程的数学本质
高斯过程（GP）本质上是对函数空间的概率分布建模。其核心由均值函数m(x)和协方差函数k(x,x')构成，任何有限点集的函数值服从联合高斯分布。实践中常设m(x)=0，此时模型完全由核函数决定。例如径向基核（RBF）的数学形式为：

```math
k_{SE}(x,x') = \sigma^2 \exp\left(-\frac{(x-x')^2}{2l^2}\right)

其中长度尺度l控制函数波动频率，方差σ²决定输出幅度。这种结构使得GP能自动适应不同平滑度的函数模式。

关键理解：核函数本质是定义两个输入点间的相似性度量，直接影响函数插值行为。长度尺度较小时，GP会对局部变化更敏感。

1.2 贝叶斯优化框架

贝叶斯优化的迭代过程包含三个核心环节：

1. 代理模型构建：基于已观测数据拟合GP，获得后验分布
2. 采集函数优化：计算EI等指标确定下一个评估点
3. 并行化扩展：通过批量采样策略提升计算效率

以期望改进（EI）为例，其闭式解为：

python复制def expected_improvement(X, gp_model, best_y):
    mu, sigma = gp_model.predict(X, return_std=True)
    delta = mu - best_y
    z = delta / sigma
    return delta * norm.cdf(z) + sigma * norm.pdf(z)

2. 核函数工程深度剖析

2.1 基础核函数特性对比

2.2 复合核构建策略

通过加法/乘法组合基础核可形成更丰富的函数空间：

• 加法组合：建模叠加效应（如SE + PER捕获趋势+周期）
• 乘法组合：刻画交互作用（如LIN × RQ实现可变平滑度）

实际案例：在光子芯片设计中，采用(SE×PER)+(LIN×RQ)核能同时优化激光波长（周期性敏感）和输出功率（线性相关）。

3. 超参数优化实战指南

3.1 基于边缘似然的优化

边缘对数似然的Laplace近似：

math复制\log p(y|X,k) \approx \log p(y|X,\hatθ,k) - \frac{1}{2}\log|\Sigma^{-1}| + C

优化时需注意：

1. 使用ADAM优化器（学习率0.01）
2. 对长度尺度施加Gamma(2,2)先验防过拟合
3. 采用多次随机初始化避免局部最优

3.2 实际调参技巧

• 预热阶段：前5次迭代使用固定大长度尺度（l=1.0）
• 噪声处理：当σ²ₑ>0.01时考虑heteroscedastic噪声模型
• 维度诅咒：输入维度>10时建议采用ARD核自动特征选择

4. 典型问题解决方案

4.1 收敛失败排查

4.2 计算效率优化

• 稀疏近似：采用100个诱导点的FITC近似
• 矩阵求逆：使用Cholesky分解代替直接求逆
• GPU加速：通过GPyTorch启用CUDA支持

5. 前沿进展与挑战

最新研究显示，将神经网络的表示能力与GP的概率校准结合（如Deep Kernel Learning）可提升高维优化效果。但在样本量<50时，传统GP仍具优势。一个值得关注的趋势是使用BO自动设计核函数结构，如通过语法树演化生成定制化核。

个人实践建议：对于黑箱函数评估成本极高的场景（如CFD仿真），建议先进行20次Latin超立方采样初始化，再启动BO流程。某风电叶片优化项目中，该方法使收敛速度提升3倍。

code复制