1. 状态空间模型(SSM)基础概念
状态空间模型(State Space Model, SSM)是一种用于描述动态系统的数学框架,它通过一组状态变量来表示系统的内部状态,并通过观测方程将这些状态与可测量的输出联系起来。这种模型最初起源于控制理论,后来被广泛应用于信号处理、时间序列分析和机器学习等领域。
1.1 连续与离散时间表示
在连续时间域中,SSM通常表示为:
code复制ẋ(t) = A x(t) + B u(t)
y(t) = C x(t) + D u(t)
其中x(t)是状态向量,u(t)是输入信号,y(t)是输出信号。A、B、C、D是系统矩阵,分别表示状态转移、输入映射、观测映射和直接传递。
离散时间版本则更适合数字实现:
code复制x_t = A x_{t-1} + B u_t
y_t = C x_t + D u_t
这种离散化形式与递归神经网络(RNN)的结构非常相似,这也是SSM能够与深度学习结合的基础。
1.2 离散化过程
从连续时间到离散时间的转换需要经过离散化处理。常用的方法是零阶保持(ZOH)离散化:
code复制A_d = e^(AΔt)
B_d = (∫_0^Δt e^(Aτ)dτ)B
其中Δt是采样间隔。这个离散化过程在Mamba模型中演变为可学习的门控机制,Δt成为模型可以自适应调整的参数。
在实际应用中,离散化后的系统需要保持稳定性,这意味着矩阵A的特征值必须位于单位圆内(对于离散系统)或左半平面(对于连续系统)。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. SSM与隐马尔可夫模型的关系
2.1 统一框架下的比较
SSM和隐马尔可夫模型(HMM)都属于状态空间模型的范畴,它们都基于"隐状态链+观测生成"的基本结构。两者都满足马尔可夫性质,即当前状态只依赖于前一个状态。
关键区别在于:
- HMM的状态空间是离散的
- SSM的状态空间是连续的
2.2 数学形式对比
HMM可以看作是SSM在离散状态空间下的特例。在HMM中:
- 状态转移由转移概率矩阵描述
- 观测生成由发射概率分布描述
而在SSM中:
- 状态转移由线性变换矩阵A描述
- 观测生成由线性变换矩阵C描述
这种连续与离散的区别导致了它们在推断方法上的不同:
- HMM使用前向-后向算法
- SSM使用卡尔曼滤波
