大语言模型与时空注意力机制在高铁客流预测中的应用

1. 高铁客流预测新范式：当大语言模型遇上时空注意力机制

高铁车站作为现代综合交通枢纽的核心节点，其客流预测精度直接关系到运营安全、资源调配和服务质量。传统预测方法往往将进站与出站客流割裂建模，忽视了二者间的动态耦合关系。我们团队在Metrica A 2025发表的这项研究，创新性地将大语言模型（LLM）与时空注意力机制相结合，提出了ST-Attn-LLM框架，在多项指标上实现了显著突破。

这个工作的核心价值在于：首次验证了大语言模型在交通预测领域的迁移潜力。通过精心设计的LoRA微调策略，我们成功将LLM强大的表征能力适配到客流预测场景，同时保持了模型的高效性。实测表明，该框架不仅适用于高铁系统，在城市轨道交通场景也展现出优秀的泛化性能。

2. 问题本质与解决思路

2.1 高铁客流预测的特殊挑战

高铁客流具有三个显著特征：

1. 时空耦合性：相邻车站的客流波动存在明显传导效应。例如早班车到达引发的出站高峰，会连锁导致后续车站的进站需求上升
2. 非线性波动：节假日、极端天气等场景下，客流往往呈现突发性增长而非平稳变化
3. 模态交互：进站与出站客流之间存在动态平衡关系，如返程高峰时段的双向客流对冲

传统方法如LSTM、TCN等，要么难以捕捉长程依赖，要么无法建模跨站点的空间关联。而单纯的时空图网络又缺乏对复杂交互模式的深层理解能力。

2.2 两阶段解决方案设计

我们的ST-Attn-LLM框架采用分阶段处理策略：

1. 时空特征提取层：通过多头注意力机制显式建模车站间的空间关联和客流时间演化模式
2. 特征增强层：利用预训练LLM的深层理解能力，挖掘进出站客流间的潜在交互规律

这种设计既保留了专业领域知识（时空特性），又融入了通用智能（LLM的推理能力）。实验证明，相比端到端的单一模型，这种分工协作的架构在预测精度和训练效率上都有明显优势。

3. 模型架构详解

3.1 时空注意力特征提取模块

该模块包含三个关键组件：

空间注意力层：

python复制class SpatialAttention(nn.Module):
    def __init__(self, station_num, d_model):
        super().__i