TKSJ1. 项目概述
在时间序列预测领域，传统方法如ARIMA已经逐渐被深度学习模型所取代。最近，一种名为Kolmogorov-Arnold Networks（KAN）的新型神经网络架构引起了广泛关注。作为一名长期从事时间序列预测研究的工程师，我决定对KAN及其与主流深度学习模型的混合架构进行系统性比较研究。
这个项目以西安市PM2.5浓度预测为实际案例，对比了纯KAN模型与六种混合架构（CNN-KAN、CNN-LSTM-KAN、LSTM-KAN、TCN-KAN、Transformer-KAN）的性能差异。通过近三个月的实验和调优，我获得了一些有趣的发现，特别是在模型选择与组合策略方面。
提示：本文所有实验均基于Python 3.8和PyTorch 1.12实现，完整代码和数据集可在文末获取。建议读者先了解基本的深度学习模型（如CNN、LSTM）和时间序列预测概念。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心模型架构解析
2.1 KAN网络基础原理
KAN网络源自Kolmogorov-Arnold表示定理，该定理指出任何多元连续函数都可以表示为有限个单变量函数的组合。与传统MLP不同，KAN的每一层不是简单的线性变换加激活函数，而是由可学习的非线性函数组成。
在实现上，我采用了以下结构：
python复制class KANLayer(nn.Module):
def __init__(self, input_dim, output_dim):
super().__init__()
# 每个输入到输出的连接都是一个可学习的函数
self.functions = nn.ModuleList([
nn.Sequential(
nn.Linear(1, 32),
nn.SiLU(),
nn.Linear(32, 1)
) for _ in range(input_dim * output_dim)
])
self.input_dim = input_dim
self.output_dim = output_dim
def forward(self, x):
outputs = []
for j in range(self.output_dim):
output = 0
for i in range(self.input_dim):
func = self.functions[i*self.output_dim + j]
output += func(x[:, i:i+1])
outputs.append(output)
return torch.stack(outputs, dim=1)
这种结构的优势在于：
- 更强的非线性表达能力
- 参数效率更高（相比宽MLP层）
- 函数组合方式更灵活
2.2 混合模型设计思路
2.2.1 CNN-KAN架构
CNN擅长提取局部特征，而KAN擅长建模复杂非线性关系。我将它们组合如下：
- 1D卷积层处理时间序列的局部模式
- 最大池化层降低时间维度
- KAN层进行非线性变换
python复制class CNN_KAN(nn.Module):
def __init__(self, input_len=24):
super().__init__()
self.cnn = nn.Sequential(
nn.Conv1d(1, 32, kernel_size=3, padding=1),
nn.ReLU(),
nn.MaxPool1d(2)
)
self.kan = KANLayer(32*(input_len//2), 24) # 预测24小时
def forward(self, x):
x = self.cnn(x.unsqueeze(1)) # [B,1,T] -> [B,32,T/2]
x = x.flatten(1)
return self.kan(x)
2.2.2 Transformer-KAN架构
Transformer的自注意力机制能捕捉全局依赖，而KAN可以替代传统的MLP解码器：
python复制class Transformer_KAN(nn.Module):
def __init__(self, d_model=64, nhead=4):
super().__init__()
self.embed = nn.Linear(1, d_model)
encoder_layer = nn.TransformerEncoderLayer(d_model, nhead)
self.encoder = nn.TransformerEncoder(encoder_layer, 2)
self.kan = KANLayer(d_model, 24)
def forward(self, x):
x = self.embed(x.unsqueeze(-1)) # [B,T] -> [B,T,d_model]
x = self.encoder(x) # [B,T,d_model]
x = x.mean(dim=1) # 全局平均
return self.kan(x)
3. 实验设计与实现细节
3.1 数据集准备
使用西安市2018-2022年每小时PM2.5数据，包含以下特征：
- PM2.5浓度（目标变量）
- 温度、湿度、风速等气象数据
- 时间特征（小时、星期等）
数据预处理流程：
- 缺失值处理：线性插值补全
- 归一化：MinMaxScaler到[0,1]区间
- 滑动窗口：24小时历史预测未来24小时
python复制def create_dataset(data, window_size=24):
X, y = [], []
for i in range(len(data)-window_size-24):
X.append(data[i:i+window_size])
y.append(data[i+window_size:i+window_size+24])
return np.array(X), np.array(y)
3.2 训练配置
所有模型统一训练设置以保证公平比较：
- 优化器：AdamW (lr=1e-3)
- 损失函数：平滑L1损失
- 批次大小：64
- 训练轮次：100
- 早停策略：验证集损失10轮不下降
python复制def train_model(model, train_loader, val_loader):
optimizer = torch.optim.AdamW(model.parameters(), lr=1e-3)
criterion = nn.SmoothL1Loss()
best_loss = float('inf')
for epoch in range(100):
model.train()
for x, y in train_loader:
pred = model(x)
loss = criterion(pred, y)
optimizer.zero_grad()
loss.backward()
optimizer.step()
val_loss = evaluate(model, val_loader, criterion)
if val_loss < best_loss:
best_loss = val_loss
torch.save(model.state_dict(), 'best_model.pth')
4. 结果分析与模型比较
4.1 定量性能对比
经过完整训练后，各模型在测试集上的表现如下：
| 模型 | MAE | RMSE | MAPE | 训练时间(秒/epoch) |
|---|---|---|---|---|
| LSTM | 12.3 | 15.7 | 18.2% | 45 |
| TCN | 11.8 | 14.9 | 17.5% | 38 |
| Transformer | 10.5 | 13.2 | 15.8% | 52 |
| 纯KAN | 13.1 | 16.4 | 19.1% | 29 |
| CNN-KAN | 11.2 | 14.3 | 16.9% | 41 |
| LSTM-KAN | 10.9 | 13.8 | 16.3% | 58 |
| Transformer-KAN | 9.7 | 12.1 | 14.5% | 63 |
关键发现：
- Transformer-KAN 综合表现最佳，MAE比纯Transformer降低7.6%
- 纯KAN表现最差，验证了需要结合特定架构的假设
- LSTM-KAN在小样本场景下（前50%数据）表现更稳定
4.2 预测效果可视化
图：各模型对未来24小时PM2.5的预测曲线（测试集样本）
可以看到：
- Transformer-KAN（红线）对峰值捕捉最准确
- 纯KAN（紫线）对趋势变化反应滞后
- 所有模型在凌晨时段（低浓度）预测更准
5. 实战经验与调优技巧
5.1 KAN网络训练技巧
- 函数初始化：KAN层中的小型MLP需要谨慎初始化。我发现使用Kaiming正态初始化配合SiLU激活效果最好：
python复制def _init_weights(m):
if isinstance(m, nn.Linear):
nn.init.kaiming_normal_(m.weight, mode='fan_in', nonlinearity='silu')
m.bias.data.zero_()
- 学习率调整：KAN层需要比传统层更小的学习率（约1/10）。我采用分层学习率策略：
python复制optimizer = torch.optim.AdamW([
{'params': model.cnn.parameters(), 'lr': 1e-3},
{'params': model.kan.parameters(), 'lr': 1e-4}
])
- 梯度裁剪：KAN的梯度可能不稳定，建议添加：
python复制torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)
5.2 混合架构设计建议
- 特征维度匹配：CNN/LSTM的输出维度需要与KAN输入维度匹配。我通常添加适配层：
python复制self.adapter = nn.Linear(lstm_hidden_size, kan_input_size)
- 残差连接：在深层混合模型中，添加跳跃连接能显著改善训练：
python复制def forward(self, x):
cnn_feat = self.cnn(x)
kan_out = self.kan(cnn_feat)
return cnn_feat.mean(dim=1) + kan_out # 残差连接
- 注意力增强：对于Transformer-KAN，可以在KAN前加入轻量注意力：
python复制self.attn = nn.MultiheadAttention(embed_dim=64, num_heads=4)
6. 常见问题与解决方案
6.1 训练不稳定问题
现象：KAN层输出出现NaN值
解决方法：
- 检查输入数据是否已归一化
- 添加梯度裁剪
- 使用更稳定的激活函数（如SiLU代替ReLU）
6.2 过拟合问题
现象：训练集损失持续下降但验证集损失上升
对策：
python复制# 添加Dropout层
self.kan = nn.Sequential(
KANLayer(input_dim, hidden_dim),
nn.Dropout(0.3),
KANLayer(hidden_dim, output_dim)
)
# 使用早停策略
early_stopping = EarlyStopping(patience=10, delta=1e-4)
6.3 长序列预测问题
现象：预测步长增加时性能下降明显
改进方案：
- 采用自回归预测方式
- 添加位置编码增强时序感知
python复制class PositionalEncoding(nn.Module):
def __init__(self, d_model, max_len=24):
super().__init__()
position = torch.arange(max_len).unsqueeze(1)
div_term = torch.exp(torch.arange(0, d_model, 2) * (-math.log(10000.0) / d_model))
pe = torch.zeros(max_len, d_model)
pe[:, 0::2] = torch.sin(position * div_term)
pe[:, 1::2] = torch.cos(position * div_term)
self.register_buffer('pe', pe)
def forward(self, x):
return x + self.pe[:x.size(1)]
在实际项目中，我发现Transformer-KAN虽然在基准测试中表现最好，但在部署到生产环境时，LSTM-KAN往往更稳定可靠。这可能是因为：
- Transformer对数据分布变化更敏感
- LSTM的序列处理特性更适合实时预测场景
- KAN部分的函数组合在边缘设备上更容易量化
对于想要复现实验的读者，我建议先从CNN-KAN开始尝试，因为它结构简单且训练速度快。待熟悉KAN的特性后，再逐步尝试更复杂的混合架构。