SSM/线性注意力混合

SSM (State Space Model, 状态空间模型) 用线性递推建模序列:$h_t = A h_{t-1} + B x_t$,输出 $y_t = C h_t$,状态大小固定、与序列长度无关;Mamba 在此基础上加入输入依赖的选择性扫描(用 $\Delta_t$ 控制写入与遗忘),计算复杂度 $O(n)$;线性注意力(RWKV)把 $Q K^T$ 换成核化形式,等价退化成常数大小的状态递推;混合架构(如 Jamba)把全注意力层与 SSM 层交替堆叠。

百万级超长上下文与高吞吐推理场景;Jamba-1.5 398B(MoE,激活 52B)支持 256K 上下文,2026 年混合架构是长上下文主流路线,面试高频对比 SSM 与 attention 的复杂度与记忆能力。

注意力 $O(n^2)$ 的时间/显存随序列平方增长,超长序列不可行;SSM 每 token 显存恒定(状态维度 $d \times m$),训练可用并行扫描;但固定大小的状态难以精确召回历史,纯 SSM 在记忆与检索类任务上偏弱,混合架构用少量注意力层恢复精确检索,以更低算力逼近全注意力质量。

SSM 的递推公式是什么?状态如何更新?状态大小固定意味着什么?

Mamba 的选择性机制是什么?为什么 B、C、$\Delta_t$ 要输入依赖?

Jamba 这类混合架构为什么还要保留注意力层?各自承担什么职责?

RWKV/线性注意力的递推形式与标准注意力如何对应?

SSM 训练快、推理省的原理是什么?(并行扫描 + 常数状态)