热核统一框架：组合贝叶斯优化的新视角

1. 热核统一框架：组合贝叶斯优化的新视角

在材料科学和神经架构搜索等领域，组合优化问题一直是个棘手挑战。贝叶斯优化（Bayesian Optimization, BO）作为解决这类问题的利器，其核心在于核函数的选择——它直接决定了模型对组合空间的建模能力。过去几年里，研究者们提出了CASMOPOLITAN、COMBO等多种组合核函数，但这些方法之间的关系就像散落的拼图，缺乏统一的理论框架将它们串联起来。

我们团队在深入研究后发现，热核（heat kernels）这个看似基础的数学工具，竟然能够成为连接各种组合核函数的桥梁。热核最初来源于微分几何，描述的是热量在流形上的扩散过程。当我们将组合空间视为离散图结构时，热核恰好能捕捉元素之间的"邻近关系"。这种几何视角为理解组合优化问题提供了全新思路。

关键洞见：热核在组合空间中的作用，类似于RBF核在连续空间中的作用——它们都是通过"距离"来度量相似性，只是前者处理的是离散结构。

2. 主流组合核函数的本质联系

2.1 从汉明距离到图结构的统一表达

传统方法中，汉明距离基核（Hamming distance-based kernels）和图基核（graph kernels）被视为两种截然不同的思路。但我们的理论推导揭示了一个惊人事实：在有限等大小集合条件下，这两类核函数本质上是等价的。具体来说：

1. 汉明距离核可以表示为：
   $$k_H(x,x') = \exp(-\gamma \cdot d_H(x,x'))$$
   其中$d_H$是汉明距离

2. 图拉普拉斯核则可写作：
   $$k_G(x,x') = \exp(-tL)$$
   L是图拉普拉斯矩阵

通过引入热核参数$t$，我们证明了当图结构满足特定对称性时，$k_H$和$k_G$具有相同的数学形式。这意味着过去被认为独立发展的两条技术路线，实际上共享着相同的理论基础。

2.2 热核与RBF核的深层联系

另一个重要发现是热核与RBF核的关系。当使用独热编码（one-hot encoding）表示组合变量时，热核完全等价于在高维嵌入空间中的RBF核。这一发现解释了为什么某些连续优化方法经过简单调整后，在组合问题上也能表现良好。

数学上，设$\phi(x)$为独热编码映射，则有：
$$k_{heat}(x