电力负荷预测中的数据准备与特征工程实践

1. 电力能源预测的数据挑战与解决方案

在电力系统运营中，准确预测短期负荷变化是电网调度的关键环节。传统方法往往依赖于统计模型或简单的机器学习算法，但随着大模型技术的发展，基于Transformer架构的时序预测模型正在改变这一领域。然而，要让这些"大块头"真正发挥作用，数据准备环节的质量直接决定了最终预测的成败。

电力数据具有几个鲜明的特点：首先是强时序性，负荷变化遵循明确的日周期、周周期和季节周期；其次是多因素耦合，温度、湿度、节假日安排等外部因素会显著影响用电行为；最后是数据质量参差不齐，传感器故障、通信中断等问题会导致数据缺失或异常。我曾参与过多个省级电网的预测系统建设，最深刻的教训就是：再先进的模型也救不了糟糕的数据。

以2023年某省会城市夏季用电高峰预测为例，当我们首次将TimeLLM模型应用于实际生产时，由于忽视了温度数据的时序对齐问题，导致预测误差比传统方法还高出15%。后来通过严格的数据清洗和特征工程，最终将误差控制在3%以内。这个案例让我意识到，电力预测的数据准备不是简单的"洗数据"，而是需要建立一套完整的质量管控体系。

2. 数据收集与样本设计

2.1 电力预测的数据维度矩阵

构建高质量的预测数据集需要像拼图一样整合多源信息。根据我们的实践，完整的电力预测数据应该包含以下四个维度：

1. 核心电力指标：这是预测的主体目标，包括：

   • 有功功率（单位：MW）：反映实际用电负荷，是预测的直接目标
   • 无功功率（MVar）：影响电网电压稳定性的重要指标
   • 电压（kV）和电流（kA）：电网运行的基础参数
   • 负荷率（%）：实际负荷与设计容量的比值

2. 气象影响因素：

   • 温度：对负荷影响最显著，每升高1℃可能导致负荷增加1-3%
   • 湿度：影响空调使用效率
   • 降水量：影响工业生产和居民用电行为
   • 风速：影响新能源发电和散热设备运行

3. 时间特征：

   • 小时级周期：早高峰、晚高峰等固定模式
   • 周周期：工作日与周末的差异
   • 节假日：春节、国庆等特殊日子的用电模式
   • 季节特征：不同季节的基础负荷水平

4. 区域属性：

   • 负荷类型构成（商业/工业/居民占比）
   • 用户规模
   • 历史平均负荷

这些维度不是简单堆砌，而是需要建立关联矩阵。例如，商业区的负荷受工作时间影响大，而居民区对温度变化更敏感。我们在华东某市的项目中发现，加入区域属性特征后，模型在负荷类型混合区域的预测精度提升了8%。

2.2 样本数据生成实战

真实电力数据往往涉及商业机密，因此我们采用模拟方法生成符合真实场景特性的数据。以下是用Python生成样本数据的关键步骤：

python复制import pandas as pd
import numpy as np
from datetime import datetime, timedelta

# 基础配置
START_DATE = datetime(2024, 1, 1)
END_DATE = datetime(2024, 3, 31)
TIME_INTERVAL = timedelta(minutes=15)

# 负荷波动参数
SEASON_COEFF = {"春":1.0, "夏":1.3, "秋":0.9, "冬":1.2}
HOUR_COEFF = [0.6,0.5,0.4,0.4,0.5,0.7,0.9,1.1,1.2,1.1,
              1.0,1.0,1.05,1.0,0.95,1.0,1.05,1.2,1.3,1.25,1.1,0.9,0.7,0.6]

def generate_load(hour, season, weather):
    """生成符合真实场景的负荷数据"""
    base_load = 120 * SEASON_COEFF[season] * HOUR_COEFF[hour]
    # 添加随机波动和天气影响
    load = base_load * (1 + np.random.uniform(-0.05, 0.05))
    if weather == "雨": load *= 1.02
    elif weather == "雪": load *= 1.05
    return round(load, 2)

# 生成完整时间序列
time_index = pd.date_range(START_DATE, END_DATE, freq=TIME_INTERVAL)
df = pd.DataFrame(index=time_index)

# 填充各维度数据
df["season"] = df.index.month.map(lambda m: "春" if 3<=m<=5 else "夏" if 6<=m<=8 else "秋" if 9<=m<=11 else "冬")
df["hour"] = df.index.hour
df["weather"] = np.random.choice(["晴","阴","雨","雪"], len(df), p=[0.6,0.3,0.08,0.02])
df["active_power"] = df.apply(lambda x: generate_load(x.hour, x.season, x.weather), axis=1)

# 添加10%的脏数据
mask = np.random.random(len(df)) < 0.1
df.loc[mask, "active_power"] = np.where(
    np.random.random(sum(mask)) < 0.5,
    np.nan,
    df.loc[mask, "active_power"] * np.random.uniform(2, 3, sum(mask))
)

这个生成器模拟了真实电力数据的三个关键特性：

1. 多周期叠加的波动规律
2. 气象因素的影响权重
3. 真实场景中常见的脏数据类型

实际项目中，我们会保存数据生成器的随机种子，确保实验结果可复现。同时建议生成比需求多20%的数据量，为后续清洗留出余量。

3. 数据清洗与质量管控

3.1 电力数据清洗的四步法则

电力数据的清洗不是简单的去重和填充，而是需要兼顾时序特性和物理规律。我们总结了一套四步清洗法：

1. 时序完整性修复：
   • 检查时间间隔是否均匀（电力数据通常应为15分钟或1小时间隔）
   • 补全缺失的时间点，形成连续序列
   • 方法：使用pandas的asfreq或reindex

python复制# 时序完整性检查与修复
expected_freq = "15T"  # 15分钟间隔
full_range = pd.date_range(start=df.index.min(), end=df.index.max(), freq=expected_freq)
df = df.reindex(full_range)

print(f"修复后缺失值数量：{df['active_power'].isnull().sum()}")

2. 异常值检测与处理：
   • 基于物理规律设定阈值（如电压应在额定值±10%范围内）
   • 使用滑动窗口统计检测突变点（Z-score方法）
   • 处理方法：平滑替换而非简单删除

python复制def correct_outliers(series, window=48, threshold=3):
    """基于滑动窗口的异常值修正"""
    roll_mean = series.rolling(window).mean()
    roll_std = series.rolling(window).std()
    z_score = abs((series - roll_mean) / roll_std)
    outliers = z_score > threshold
    series[outliers] = roll_mean[outliers]  # 用滑动均值替换异常值
    return series

df["active_power"] = correct_outliers(df["active_power"])

3. 缺失值智能填充：
   • 优先使用时序感知方法（线性插值、季节分解填充）
   • 对于连续缺失，考虑使用类似日期的数据填充
   • 避免使用全局均值等破坏时序特性的方法

python复制# 高级缺失值填充策略
def advanced_fillna(series):
    # 首先尝试线性插值
    filled = series.interpolate(method="linear")
    
    # 对连续缺失超过4个点的情况，使用同期历史均值
    if filled.isnull().sum() > 0:
        historic_avg = series.groupby([series.index.hour, series.index.weekday]).transform("mean")
        filled = filled.fillna(historic_avg)
    
    return filled

df["active_power"] = advanced_fillna(df["active_power"])

4. 数据一致性验证：
   • 检查功率因数是否在合理范围（0.8-1.0）
   • 验证有功功率、电压、电流的关系：P = √3×U×I×cosφ
   • 确保气象数据与季节、地域相符

3.2 清洗效果评估

清洗完成后，需要通过可视化+量化指标双重验证：

python复制import matplotlib.pyplot as plt

# 可视化对比
plt.figure(figsize=(12,6))
plt.plot(df_original["active_power"], alpha=0.5, label="原始数据")
plt.plot(df["active_power"], label="清洗后数据")
plt.legend()
plt.title("数据清洗前后对比")
plt.show()

# 质量指标计算
def data_quality_report(series):
    report = {
        "缺失率": series.isnull().mean(),
        "异常值比例": sum(abs(series.diff()) > 3*series.std())/len(series),
        "连续性指标": series.autocorr(lag=96)  # 24小时自相关
    }
    return pd.DataFrame(report, index=["质量指标"])

print(data_quality_report(df["active_power"]))

经验分享：在华北某电网项目中，我们发现凌晨时段的异常值检测需要放宽阈值，因为某些工业用户会在谷电时段集中生产，导致负荷突增是正常现象。这种领域知识很难通过通用算法捕捉，必须结合实际业务理解。

4. 特征工程与数据转换

4.1 电力预测的特征工程策略

优秀的特征工程能让模型性能提升30%以上。对于电力预测，我们重点关注三类特征：

1. 时序衍生特征：
   • 滞后特征（lag features）：前1小时、前24小时、前1周同期的负荷值
   • 滑动统计量：过去4小时/24小时的均值、标准差、最大值
   • 差分特征：小时差分、日同比变化

python复制# 时序特征生成
def create_temporal_features(df):
    # 基础滞后特征
    for lag in [4, 24, 24*7]:  # 1小时、1天、1周前
        df[f"lag_{lag}"] = df["active_power"].shift(lag)
    
    # 滑动窗口统计
    df["rolling_4h_mean"] = df["active_power"].rolling(16).mean()  # 4小时均值
    df["rolling_24h_std"] = df["active_power"].rolling(96).std()   # 24小时标准差
    
    # 周期差分
    df["hour_diff"] = df["active_power"].diff(4)    # 小时变化
    df["day_over_day"] = df["active_power"] / df["active_power"].shift(96) - 1  # 日同比
    
    return df

df = create_temporal_features(df)

2. 外部特征编码：
   • 天气类型：独热编码或嵌入编码
   • 节假日：特殊日期标记
   • 时间周期：正弦/余弦编码处理小时、周等周期

python复制# 时间周期编码
def encode_cyclic_features(df):
    # 小时周期编码
    df["hour_sin"] = np.sin(2*np.pi*df.index.hour/24)
    df["hour_cos"] = np.cos(2*np.pi*df.index.hour/24)
    
    # 周周期编码
    df["week_sin"] = np.sin(2*np.pi*df.index.dayofweek/7)
    df["week_cos"] = np.cos(2*np.pi*df.index.dayofweek/7)
    
    return df

df = encode_cyclic_features(df)

3. 交互特征：
   • 温度与小时段的交互项（如高温时段的降温需求）
   • 节假日与天气的交互影响
   • 区域属性与季节的关联特征

4.2 数据标准化与数据集构建

不同特征的量纲差异会影响模型训练效果，需要进行合理标准化：

python复制from sklearn.preprocessing import MinMaxScaler, OneHotEncoder
from sklearn.compose import ColumnTransformer

# 定义特征处理管道
numeric_features = ["active_power", "temperature", "lag_4", "rolling_4h_mean"]
categorical_features = ["weather", "holiday"]

preprocessor = ColumnTransformer(
    transformers=[
        ("num", MinMaxScaler(), numeric_features),
        ("cat", OneHotEncoder(), categorical_features)
    ],
    remainder="passthrough"  # 保留已处理好的周期特征
)

# 数据集拆分（按时间顺序）
train_size = int(0.7 * len(df))
val_size = int(0.15 * len(df))

train_df = df.iloc[:train_size]
val_df = df.iloc[train_size:train_size+val_size]
test_df = df.iloc[train_size+val_size:]

# 拟合预处理管道（仅在训练集上拟合！）
preprocessor.fit(train_df)

# 转换各数据集
X_train = preprocessor.transform(train_df)
X_val = preprocessor.transform(val_df)
X_test = preprocessor.transform(test_df)

关键点：预处理管道必须仅在训练集上拟合，然后应用于验证集和测试集，这是避免数据泄露的铁律。我们在某次项目审计中发现，如果在全量数据上拟合标准化器，测试集指标会虚高8-12%。

5. 时序样本构造与模型适配

5.1 滑动窗口样本生成

时序大模型需要特定的输入格式，通常为三维张量（样本数，时间步长，特征数）。以下是构造方法：

python复制def create_sequences(X, y, window_size, horizon):
    """
    构造时序样本
    X: 特征矩阵 (timesteps, features)
    y: 目标序列 (timesteps,)
    window_size: 输入序列长度
    horizon: 预测步长
    """
    X_seq, y_seq = [], []
    for i in range(len(X) - window_size - horizon + 1):
        X_seq.append(X[i:i+window_size])
        y_seq.append(y[i+window_size:i+window_size+horizon])
    return np.array(X_seq), np.array(y_seq)

# 示例参数
WINDOW_SIZE = 96    # 24小时历史数据（15分钟间隔）
HORIZON = 48        # 预测未来12小时

X_train_seq, y_train_seq = create_sequences(X_train, train_df["active_power"].values, WINDOW_SIZE, HORIZON)
X_val_seq, y_val_seq = create_sequences(X_val, val_df["active_power"].values, WINDOW_SIZE, HORIZON)

5.2 数据加载优化

对于大模型训练，需要高效的数据加载机制：

python复制import torch
from torch.utils.data import Dataset, DataLoader

class PowerDataset(Dataset):
    def __init__(self, X, y):
        self.X = torch.FloatTensor(X)
        self.y = torch.FloatTensor(y)
    
    def __len__(self):
        return len(self.X)
    
    def __getitem__(self, idx):
        return self.X[idx], self.y[idx]

# 创建DataLoader
batch_size = 32
train_loader = DataLoader(
    PowerDataset(X_train_seq, y_train_seq),
    batch_size=batch_size,
    shuffle=False  # 时序数据保持顺序
)
val_loader = DataLoader(
    PowerDataset(X_val_seq, y_val_seq),
    batch_size=batch_size,
    shuffle=False
)

5.3 模型适配技巧

不同的大模型架构对输入数据有特殊要求：

1. TimeLLM/TFT类模型：

   • 需要区分静态特征（如区域属性）和动态特征（如负荷序列）
   • 通常需要显式的时间特征编码
   • 示例配置：

     python复制model_config = {
         "input_size": X_train_seq.shape[-1],
         "output_size": HORIZON,
         "static_features": ["load_type", "user_count"],
         "temporal_features": {
             "known": ["temperature", "holiday"],  # 未来已知的特征
             "observed": ["active_power"]          # 仅历史可用的特征
         }
     }
     

2. Transformer-XL/Informer类模型：

   • 需要位置编码
   • 长序列可能需要分段处理
   • 对输入标准化敏感，建议使用LayerNorm

3. 通用技巧：

   • 在验证集上监控loss曲线，避免过拟合
   • 使用学习率热身（learning rate warmup）策略
   • 对于多步预测，考虑使用Teacher Forcing训练策略

6. 实战经验与避坑指南

6.1 常见问题排查表

6.2 性能优化技巧

1. 数据层面：

   • 使用增量式标准化（适用于在线学习场景）
   • 对稀疏特征（如节假日）采用嵌入编码而非独热编码
   • 实现并行化特征生成管道

2. 训练���巧：

   • 采用课程学习（Curriculum Learning），先训练简单样本
   • 使用混合精度训练加速大型时序模型
   • 实现早停（Early Stopping）保护机制

3. 工程实践：

   • 建立数据版本控制（记录每次数据变更）
   • 实现端到端的数据验证管道
   • 监控数据漂移（Data Drift）现象

python复制# 示例：数据漂移检测
from alibi_detect import KSDrift

# 初始化检测器（基于训练集）
drift_detector = KSDrift(X_train_ref, p_val=0.05)

# 定期检测新数据
new_data = load_recent_data()
preds = drift_detector.predict(new_data)
if preds["data"]["is_drift"]:
    alert("数据分布发生漂移！")

6.3 领域特定经验

1. 负荷预测的特殊性：

   • 夏季制冷负荷与温度呈非线性关系（存在临界温度点）
   • 工业用户可能有固定的生产计划周期
   • 重大活动（如体育赛事）会导致局部负荷突变

2. 模型部署考量：

   • 预测频率与业务需求匹配（调度系统通常需要15分钟级更新）
   • 考虑预测不确定性（输出置信区间）
   • 实现模型的热更新机制

3. 持续学习策略：

   • 定期用新数据微调模型
   • 建立反馈闭环（对比预测与实际负荷）
   • 监控模型衰减速度（电力预测模型通常3-6个月需要更新）

在南方某省级电网的实际部署中，我们建立了这样的数据质量管控体系后，TimeLLM模型的预测误差从最初的7.2%降至2.8%，特别是在极端天气条件下的预测稳定性显著提升。这证明高质量的数据准备流程，其价值不亚于模型架构本身的创新。