1. 时空基础模型FactoST：从联合预训练到因子化范式的技术跃迁
在人工智能领域，时空数据建模一直是个极具挑战性的课题。交通流量预测、电网负荷分析、气象变化模拟等场景中，数据不仅随时间变化，还受到复杂空间关系的制约。传统方法通常采用时空图神经网络（STGNN），针对每个特定数据集单独训练模型。这种做法就像为每个城市定制专属的交通预测系统，开发成本高且难以迁移。
近年来，时空基础模型（STFMs）开始兴起，试图通过大规模预训练实现"一次训练，多处应用"。但现有方案大多采用联合时空预训练（Joint ST Pretraining），同时建模空间图结构和时间序列。这种"眉毛胡子一把抓"的做法在实践中遇到了严峻挑战：
- 计算复杂度爆炸：联合建模的复杂度高达O(N^2T)，面对大型图网络时显存需求激增
- 负迁移问题：不同领域的空间拓扑结构差异巨大，强行联合训练反而降低模型性能
- 过压缩现象：模型在编码过程中丢失关键时空特征信息
香港科技大学（广州）与华为2012实验室联合团队提出的FactoST系列，创新性地采用"先时间、后空间"的因子化范式，成功破解了这些难题。该工作先后发表在NeurIPS 2025和Arxiv 2026，相关代码已在GitHub开源。
2. 核心挑战与技术洞察
2.1 时空数据的本质矛盾
时空数据中存在着一个根本性的矛盾特征：
- 时间模式的通用性：周期性、趋势性等时间结构在不同领域（如交通、能源、气象）中表现出相似的物理规律
- 空间模式的特定性：不同领域的空间拓扑结构差异巨大。例如：
- 道路网络呈现局部连通性
- 电网具有层级分布特性
- 气象系统表现出复杂的遥相关关系
这种不对称性导致传统联合预训练方法陷入两难：既要学习通用时间规律，又要适应特定空间结构，最终往往顾此失彼。
2.2 现有方法的三大局限
通过对主流时空基础模型的深入分析，团队识别出三个关键问题：
-
架构限制：
- 多数模型采用Encoder-Decoder结构
- 预测头长度固定，难以适应不同任务需求
- 微调时大量预训练参数被丢弃，造成资源浪费
-
训练目标单一：
- 仅进行确定性点估计
- 无法量化预测不确定性
- 在高风险决策场景（如电网调度）中应用受限
-
计算效率低下：
- 全连接注意力机制复杂度高
- 难以扩展到大型时空网络
- 实际部署时延迟高、资源消耗大
3. FactoST技术方案详解
3.1 整体架构设计
FactoST采用两阶段因子化范式：
阶段一：通用时间预训练（UTP）
- 完全摒弃空间图结构
- 专注学习跨领域的时间模式
- 引入多频率增强和域提示学习
阶段二：时空适配（STA）
- 轻量级注入空间感知
- 包含ST元数据融合和ST过滤模块
- 采用域对齐与记忆回放技术
这种解耦设计将复杂度从O(N^2T)降至O(NT)，同时解决了负迁移问题。
3.2 关键技术创新
3.2.1 随机序列掩码技术
在预训练阶段，随机遮盖历史序列的初始片段。这种方法：
- 强制模型适应不同有效上下文长度
- 实现任意长度输入的泛化能力
- 为后续的滚动预测奠定基础
具体实现时，采用几何分布确定掩码长度：
code复制p(mask_len = k) = (1-p)^(k-1) * p
其中p控制掩码概率，k为掩码长度。
3.2.2 全权重转移机制
FactoST-v2采用纯Encoder架构，实现预训练权重100%复用：
- 最大化预测头长度截断：统一各任务的预测头尺寸
- 滚动预测机制：通过迭代预测支持任意长度输出
- 轻量适配器设计：下游任务仅需微调<5%参数
相比v1版本，v2的参数利用率提升3.8倍。
3.2.3 分位数概率预测
引入Pinball Loss实现概率区间预测：
code复制Lτ(y, q) = max(τ(y-q), (τ-1)(y-q))
同时优化多个分位数（如10%、50%、90%），输出形式为：
code复制预测结果 = {
"q10": 下界,
"q50": 中位数,
"q90": 上界
}
这种方法特别适合风险敏感型应用场景。
4. 实现细节与优化技巧
4.1 模型架构选择
FactoST-v2最终采用的骨干网络包含：
- 8层Transformer Encoder
- 隐藏维度512
- 8头注意力机制
- 前馈网络维度2048
选择依据：
- 模型容量与计算成本的平衡
- 对长序列建模的能力
- 与适配器模块的兼容性
4.2 训练策略优化
课程学习设计：
- 先训练简单任务（短期预测）
- 逐步增加任务难度（长期预测）
- 最后引入极端场景（大范围掩码）
混合精度训练：
- 使用AMP自动混合精度
- 显存占用减少40%
- 训练速度提升25%
梯度裁剪：
- 设置阈值1.0
- 防止梯度爆炸
- 提升训练稳定性
5. 实战应用与性能表现
5.1 典型应用场景
智能交通系统：
- 输入：历史车速、流量数据
- 输出：未来1小时拥堵概率
- 实际效果：预测准确率提升23%
电网负荷预测：
- 输入：历史用电量、天气数据
- 输出：未来24小时负荷曲线
- 实际效果：MAE降低37%
空气质量预警：
- 输入：监测站历史数据
- 输出：PM2.5浓度区间预测
- 实际效果：预警准确率提升41%
5.2 基准测试结果
在PEMS-04数据集上的对比实验：
| 模型 | MAE | RMSE | 参数量 | 推理时延 |
|---|---|---|---|---|
| GWNet | 19.2 | 31.5 | 4.8M | 28s |
| STGNN | 18.7 | 30.8 | 5.2M | 32s |
| FactoST-v1 | 17.3 | 28.4 | 3.9M | 15s |
| FactoST-v2 | 16.6 | 27.9 | 4.3M | 11s |
关键优势：
- 误差降低10-15%
- 推理速度提升2-3倍
- 参数效率提高20%
5.3 少样本学习表现
仅使用10%训练数据时：
- 相比全监督STGNN，误差降低46.4%
- 相比其他STFMs，训练速度提升68%
- 参数效率提升3.1倍
这表明FactoST特别适合数据稀缺场景。
6. 部署实践与调优经验
6.1 实际部署考量
硬件选择建议：
- 云端部署：NVIDIA A100/A800
- 边缘设备：Jetson AGX Orin
- 量化方案：FP16精度足够
内存优化技巧：
- 使用梯度检查点技术
- 激活函数选用GELU而非ReLU
- 合理设置批处理大小（建议32-64）
6.2 常见问题排查
问题1：预测结果波动大
- 检查输入数据归一化
- 调整STF模块的超参数
- 增加训练epoch
问题2：显存不足
- 减小批处理大小
- 启用梯度累积
- 使用内存映射加载数据
问题3：迁移效果差
- 检查域适配器配置
- 验证预训练权重加载
- 调整学习率调度
7. 未来发展方向
基于FactoST的实践经验，我们认为时空基础模型有几个重要演进方向：
-
动态拓扑处理：
- 开发自适应图结构学习
- 支持实时拓扑变化
- 应用于城市扩张场景
-
多模态融合：
- 结合卫星遥感数据
- 整合社交媒体信息
- 构建更全面的时空感知
-
边缘计算优化：
- 开发轻量级变体
- 支持低精度推理
- 实现端侧实时预测
在实际项目中，我们观察到FactoST的因子化思想可以扩展到其他时空任务，如：
- 人群流量预测
- 流行病传播模拟
- 金融市场分析
这种"先通后专"的设计范式，正在成为构建实用化时空智能系统的新标准。