PatchTST与贝叶斯优化在能源负荷预测中的实践

1. 项目概述：当PatchTST遇上贝叶斯优化

在能源管理领域，准确预测综合能源负荷一直是个棘手的挑战。传统时间序列预测方法往往难以处理多变量间的复杂非线性关系，而深度学习模型又面临超参数调优的难题。最近我在一个工业园区能源管理项目中，尝试将PatchTST模型与贝叶斯优化相结合，意外获得了相当不错的预测效果。

PatchTST（Patched Time Series Transformer）是2023年提出的一种新型时间序列预测架构，它通过将时间序列分割为局部片段（patch）来捕捉长期依赖关系。而贝叶斯优化则是一种基于概率模型的超参数优化方法，相比网格搜索和随机搜索更高效。两者的结合，正好解决了能源负荷预测中的两个核心痛点：复杂时序模式识别和模型参数自动优化。

2. 核心需求与技术选型

2.1 综合能源负荷预测的特殊性

综合能源系统通常包含电力、热力、燃气等多种能源形式，其负荷数据具有几个显著特征：

1. 多变量强耦合：不同能源负荷之间存在复杂的相互影响关系
2. 多时间尺度：既有秒级波动的设备级数据，也有以天为周期的用能规律
3. 外部因素敏感：温度、湿度、节假日等外部因素对负荷影响显著
4. 数据质量不一：不同采集点的数据完整性和精度差异较大

2.2 PatchTST的架构优势

PatchTST之所以适合这类问题，主要因为其独特的处理机制：

1. 分片处理（Patching）：将原始时间序列划分为重叠的局部片段，既保留了局部特征又降低了计算复杂度
2. 通道独立性：每个变量单独处理后再融合，有效处理多变量间的异质性
3. Transformer编码：通过自注意力机制捕捉长距离依赖关系
4. 预测头设计：支持多步预测输出，满足能源调度需求

2.3 贝叶斯优化的必要性

在初步实验中，我发现PatchTST有十几个关键超参数需要调整：

• 分片长度（patch_len）
• 分片重叠率（stride_ratio）
• Transformer层数（n_layers）
• 注意力头数（n_heads）
• 学习率（lr）
• 批次大小（batch_size）

手动调参不仅耗时，而且难以找到全局最优解。贝叶斯优化通过构建代理模型（通常是高斯过程）来指导参数搜索，通常能在100次迭代内找到较优组合。

3. 完整实现流程

3.1 数据准备与预处理

python复制import pandas as pd
from sklearn.preprocessing import MinMaxScaler

# 加载原始数据
data = pd.read_csv('energy_data.csv', parse_dates=['timestamp'])

# 处理缺失值
data = data.interpolate(method='linear')

# 添加时间特征
data['hour'] = data['timestamp'].dt.hour
data['day_of_week'] = data['timestamp'].dt.dayofweek
data['is_weekend'] = data['day_of_week'] >= 5

# 多变量归一化
scaler = MinMaxScaler()
cols_to_scale = ['power', 'heat', 'gas', 'outdoor_temp']
data[cols_to_scale] = scaler.fit_transform(data[cols_to_scale])

# 构建监督学习格式
def create_dataset(data, lookback=24, horizon=12):
    X, y = [], []
    for i in range(len(data)-lookback-horizon):
        X.append(data.iloc[i:i+lookback].values)
        y.append(data.iloc[i+lookback:i+lookback+horizon][cols_to_scale].values)
    return np.array(X), np.array(y)

注意事项：能源数据通常存在明显的昼夜周期性和工作日模式，务必在预处理阶段显式添加这些时间特征。归一化时要对每个变量单独处理，避免不同量纲的影响。

3.2 PatchTST模型实现

python复制import torch
import torch.nn as nn

class PatchEmbedding(nn.Module):
    def __init__(self, patch_len, d_model):
        super().__init__()
        self.patch_len = patch_len
        self.linear = nn.Linear(patch_len, d_model)
        
    def forward(self, x):
        # x: [batch, n_vars, seq_len]
        batch_size, n_vars, seq_len = x.shape
        x = x.unfold(dimension=-1, size=self.patch_len, step=self.patch_len//2)
        x = x.permute(0,1,3,2)  # [batch, n_vars, patch_len, n_patches]
        x = self.linear(x)  # [batch, n_vars, n_patches, d_model]
        return x

class PatchTST(nn.Module):
    def __init__(self, n_vars, patch_len, d_model, n_heads, n_layers, pred_len):
        super().__init__()
        self.patch_embed = PatchEmbedding(patch_len, d_model)
        encoder_layer = nn.TransformerEncoderLayer(d_model, n_heads, dim_feedforward=d_model*4)
        self.encoder = nn.TransformerEncoder(encoder_layer, n_layers)
        self.head = nn.Linear(d_model, pred_len)
        
    def forward(self, x):
        # x: [batch, n_vars, seq_len]
        x = self.patch_embed(x)
        batch, n_vars, n_patches, d_model = x.shape
        x = x.reshape(batch*n_vars, n_patches, d_model)
        x = self.encoder(x)
        x = self.head(x.mean(dim=1))
        x = x.reshape(batch, n_vars, -1)
        return x

3.3 贝叶斯优化实现

python复制from bayes_opt import BayesianOptimization
from sklearn.model_selection import TimeSeriesSplit

def evaluate_model(patch_len, n_layers, n_heads, d_model, lr):
    # 转换为整数参数
    patch_len = int(round(patch_len))
    n_layers = int(round(n_layers))
    n_heads = int(round(n_heads))
    d_model = int(round(d_model))
    
    # 初始化模型
    model = PatchTST(n_vars=4, patch_len=patch_len, d_model=d_model,
                    n_heads=n_heads, n_layers=n_layers, pred_len=12)
    optimizer = torch.optim.Adam(model.parameters(), lr=lr)
    
    # 交叉验证
    tscv = TimeSeriesSplit(n_splits=3)
    scores = []
    for train_idx, val_idx in tscv.split(X_train):
        # 训练和验证过程...
        scores.append(val_loss)
    
    return -np.mean(scores)  # 返回负损失用于最大化

pbounds = {
    'patch_len': (8, 24),
    'n_layers': (2, 6),
    'n_heads': (2, 8), 
    'd_model': (64, 256),
    'lr': (1e-4, 1e-2)
}

optimizer = BayesianOptimization(
    f=evaluate_model,
    pbounds=pbounds,
    random_state=1,
)

optimizer.maximize(init_points=5, n_iter=50)

实操心得：贝叶斯优化的初始点(init_points)不宜过少，建议至少5个。对于整数型参数，需要在目标函数内部进行取整处理。时间序列数据必须使用时序交叉验证(TimeSeriesSplit)，普通交叉验证会导致数据泄露。

4. 关键问题与解决方案

4.1 多变量相关性处理

初期直接合并所有变量输入模型，效果不理想。通过分析发现：

1. 不同能源负荷的变化幅度差异很大（电力波动剧烈，热力相对平缓）
2. 外部温度对电力负荷的影响呈现非线性（过高或过低温度都会增加用电）

解决方案：

• 对每个变量单独进行分片和编码
• 在模型最后预测阶段才融合各变量信息
• 添加温度分箱特征（将连续温度离散化为几个区间）

4.2 长期依赖捕捉

能源负荷的周期模式可能跨越数天甚至数周，普通Transformer难以捕捉。改进措施：

1. 采用相对位置编码替代绝对位置编码
2. 在分片时增加重叠区域（stride=patch_len//2）
3. 添加显式的周期特征（小时、星期几等）

4.3 预测结果后处理

原始预测结果有时会出现物理上不可能的值（如负负荷）。解决方法：

python复制def postprocess(preds):
    # 确保预测值在物理合理范围内
    preds[preds < 0] = 0
    # 平滑处理突变点
    preds = np.apply_along_axis(lambda x: savgol_filter(x, 5, 2), -1, preds)
    return preds

5. 性能对比实验

在真实工业园区数据上的对比结果（MAPE%）：

优化后的关键参数组合：

• patch_len: 16
• n_layers: 4
• n_heads: 6
• d_model: 128
• lr: 0.0012

6. 工程部署建议

在实际部署时，有几个实用技巧：

1. 增量训练：每周用新数据对模型进行微调，保持预测能力
2. 异常检测：当预测值与实际值偏差超过3个标准差时触发告警
3. 模型解释：使用SHAP值分析各变量对预测结果的影响
4. 资源优化：利用TorchScript将模型导出为可独立运行的格式

python复制# 模型导出示例
model.eval()
traced_model = torch.jit.trace(model, torch.randn(1,4,24))
traced_model.save('patchtst_energy.pt')

这个项目让我深刻体会到，好的预测系统=合适的模型架构+科学的调参方法+领域知识。特别是在能源领域，理解数据背后的物理意义往往比单纯调整模型更重要。下一步我计划尝试将天气预报数据纳入模型输入，进一步提升预测精度。