FactoST：时空基础模型的因子化设计与实践

1. 时空基础模型的新范式：FactoST技术解析

在人工智能领域，时空数据建模一直是一个极具挑战性的研究方向。交通流量预测、气象变化分析、电网负荷监控等应用场景都需要同时处理时间和空间两个维度的复杂关系。传统方法通常采用时空图神经网络（STGNN），针对每个特定数据集单独训练模型，这种方式就像为每个城市定制专属的交通预测系统，不仅效率低下，也难以实现跨领域的知识迁移。

最近，香港科技大学（广州）与华为2012实验室联合团队提出的FactoST系列模型，开创性地采用"先时间、后空间"的因子化设计思路，成功解决了传统时空基础模型面临的"负迁移"困境。这项发表在NeurIPS 2025和Arxiv 2026的研究，为时空智能领域带来了全新的技术范式。

2. 传统时空建模的困境与突破

2.1 时空数据的本质矛盾

时空数据具有两个显著特性：时间维度的通用性和空间维度的特异性。温度变化、交通流量等时间序列往往遵循相似的周期性规律（如昼夜更替、工作日/周末模式），这种时间模式在不同领域间具有高度可迁移性。然而，空间关系却高度依赖具体场景——城市路网拓扑与电力网络结构完全不同，气象站点的空间关联模式也因地而异。

传统联合预训练方法试图同时捕捉时空特征，导致模型陷入两难：要么过度拟合特定空间结构而丧失泛化能力，要么为保持通用性而牺牲预测精度。更严重的是，这种联合建模方式带来了O(N^2)的计算复杂度，在处理大型图网络时面临严重的显存压力。

2.2 FactoST的核心创新

FactoST系列模型提出了革命性的解耦方案：将时空建模分解为两个独立阶段——通用时间预训练（UTP）和时空适配（STA）。这种"先通后专"的策略，就像先学习通用的语言能力再掌握专业术语，既保证了基础能力的广泛适用性，又能快速适应特定领域需求。

第一阶段（UTP）专注于学习跨领域共享的时间模式，完全摒弃空间结构信息，避免被特定拓扑"污染"。通过多频率增强和域提示学习等技术，模型能够捕捉不同时间尺度的通用规律。第二阶段（STA）则通过轻量级适配器，为目标领域注入特定的空间感知能力，实现"即插即用"式的领域适应。

3. FactoST技术架构详解

3.1 通用时间预训练阶段

UTP阶段采用了多种创新技术确保时间建模的通用性：

1. 空间无关设计：预训练时仅处理节点级时间序列，不引入任何图结构信息，从根本上避免空间特异性对时间建模的干扰。

2. 多频率增强：通过快速傅里叶变换（FFT）生成频域多视图，使模型能够同时学习不同时间尺度的变化规律。例如，交通流量中的分钟级波动、小时级趋势和日周期模式可以被分别捕捉。

3. 域提示学习：使用可训练的Prompt向量编码领域上下文，实现跨领域知识共享。这种方法类似于自然语言处理中的前缀调优（Prefix-Tuning），为不同领域提供轻量级的区分标识。

3.2 时空适配阶段

STA阶段通过三个核心技术实现高效的空间适应：

1. ST元数据融合：结合节点ID、日历信息等生成时空标识符，为模型提供基本的时空定位参考。例如，在交通预测中，节点ID可以对应具体路口，而时间戳则提供星期几、是否节假日等上下文。

2. ST动态过滤：自动计算空间、时间和时滞三个维度的亲和力权重，实现特征的自适应重组。实测表明，该模块能自动发现交通预测中时滞效应的重要性，无需人工设定先验规则。

3. 层次化域对齐：通过特征空间的对齐操作，桥接预训练域与目标域的分布差异。v2版本进一步简化为域特定提示对齐（DSPA），仅需调整少量参数即可实现高效适应。

4. FactoST v2的关键升级

在NeurIPS 2025版本的基础上，FactoST v2实现了多项重要改进：

4.1 架构革新

v2版本从Encoder-Decoder架构升级为纯Encoder设计，带来两大优势：

1. 支持任意长度的输入输出，不再受固定预测长度的限制
2. 实现预训练权重100%转移，下游任务只需微调不到5%的参数

4.2 概率分位数预测

传统点估计方法（如MSE损失）无法量化预测不确定性。v2引入Pinball Loss同时建模多个分位数（如10%、50%、90%），输出完整的概率分布。这种能力在风险敏感场景（如电网调度）中尤为重要，使决策者能够评估不同置信水平下的可能结果范围。

4.3 效率优化

通过因子化设计和架构简化，v2将复杂度从O(N^2)降至O(N)，能够轻松处理883+节点的大型网络。在PEMS-03数据集上，仅用4.3M参数就达到MAE 16.65，推理速度比OpenCity提升68%。

5. 实战表现与行业应用

5.1 基准测试结果

在PEMS、METR-LA等8个标准数据集上，FactoST展现出显著优势：

• 少样本学习（10%数据）：相比SOTA模型最高降低46.4%的MAE误差
• 零样本迁移：仅凭时间预训练模型就超越多数联合预训练方法
• 全样本微调：在长程预测任务中保持稳定，避免传统STGNN的显存溢出问题

5.2 实际应用案例

FactoST技术已在多个行业场景成功落地：

1. 智慧交通：某特大城市部署FactoST-v2进行实时交通预测，将高峰时段预测误差降低37%，同时支持动态调整置信区间辅助交通管控决策。

2. 电力系统：电网负荷预测中，概率分位数输出帮助运营人员更好地评估极端天气下的供电风险，优化发电调度方案。

3. 气象预报：跨区域气象站数据适配显示，FactoST在少样本情况下能够快速适应新地理区域，显著降低模型部署成本。

6. 实施建议与最佳实践

对于希望采用FactoST技术的团队，建议遵循以下实施路径：

1. 数据准备：

   • 时间序列需包含足够的历史周期（建议至少1年）
   • 空间元数据应完整标注节点属性和位置关系
   • 不同领域数据建议统一采样频率（如5分钟/次）

2. 预训练策略：

   • 优先在最大规模的时间数据集上训练UTP阶段
   • 使用多领域混合数据提升模型通用性
   • 保留10%数据用于验证时间模式的泛化能力

3. 适配器微调：

   • 目标领域数据量少时，冻结大部分预训练参数
   • 逐步解冻中层网络参数，平衡适应性与过拟合风险
   • 使用学习率warmup策略稳定训练过程

4. 不确定性管理：

   • 关键决策应用建议同时监控50%和90%分位数预测
   • 设置动态告警阈值响应预测区间突变
   • 定期评估分位数校准情况，避免系统性偏差

7. 未来发展方向

FactoST开创的因子化范式为时空基础模型开辟了新路径，后续研究可关注：

1. 动态拓扑适应：现有方法假设空间结构静态，如何应对实时变化的网络关系（如临时交通管制）是重要挑战。

2. 多模态融合：结合卫星影像、社交网络等非结构化数据，增强空间表征的丰富性。

3. 与LLM协同：探索大语言模型在空间语义理解方面的潜力，实现更高层次的跨领域迁移。

FactoST项目已全面开源（GitHub: CityMind-Lab/FactoST），研究团队也持续维护更新，期待与业界同仁共同推动时空AI技术的民主化进程。对于工业界用户，建议从v2版本开始尝试，其简化的架构和全面的文档更易于部署集成。