1. 多变量时间序列预测的核心挑战
在现实世界的多变量时间序列(MTS)预测中,我们经常面临两个关键挑战:序列内转移变化和序列间转移变化。这些变化会导致预测模型性能下降,因为它们打破了传统时间序列分析中常见的平稳性假设。
序列内转移变化指的是单个时间序列自身的动态模式随时间发生变化。例如,某个传感器的读数模式在工作日和周末可能完全不同。序列间转移变化则是指不同时间序列之间的相互关系随时间发生变化,比如两个原本高度相关的传感器突然变得不相关了。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 概率图模型的基本框架
JointPGM采用概率图模型框架来处理这些挑战,其核心思想是将预测问题建模为条件概率分布估计:
P(Y|X) = P_intra(Y|X) × P_inter(Y|X)
其中P_intra捕捉序列内依赖关系,P_inter捕捉序列间依赖关系。这种分解方式允许模型分别处理两种不同类型的分布变化。
2.1 序列内转移分布建模
序列内转移分布P_intra(Y_i|X_i)专注于单个序列i的历史行为,通常采用自回归形式的模型:
X_i,t = f(X_i,t-1, X_i,t-2, ..., X_i,t-L) + ε
其中L是回顾窗口大小,ε是噪声项。关键在于这里的函数f不是固定的,而是随时间变化的,以适应序列内模式的变化。
2.2 序列间转移分布建模
序列间转移分布P_inter(Y_i|X_j≠i)建模其他序列对目标序列的影响。这通常表示为:
X_i,t = Σ_j w_ij g(X_j,t-1) + ε
其中w_ij是序列j对序列i的影响权重,g是转换函数。这些权重w_ij也是随时间变化的,反映了序列间关系的动态性。
3. 时间特征编码的关键技术
3.1 傅里叶基函数的多尺度编码
传统的时间编码方法(如Transformer的位置编码)使用固定的频率参数,难以适应不同数据集的时间特性。JointPGM采用可学习的傅里叶基函数:
M_t = [sin(2πB_1t), cos(2πB_1t), ..., sin(2πB_kt), cos(2πB_kt)]
其中B_k是从N(0,σ_k^2)分布中采样的可学习参数。这种设计允许模型自动发现数据中存在的各种时间尺度模式。
3.1.1 频率参数的学习机制
每个σ_
