SSM/线性注意力混合

SSM (State Space Model, 状态空间模型) 用线性递推建模序列:$h_t = A h_{t-1} + B x_t$,输出 $y_t = C h_t$,状态大小固定、与序列长度无关;Mamba 在此基础上加入输入依赖的选择性扫描(用 $\Delta_t$ 控制写入与遗忘),计算复杂度 $O(n)$;线性注意力(RWKV)把 $Q K^T$ 换成核化形式,等价退化成常数大小的状态递推;混合架构(如 Jamba)把全注意力层与 SSM 层交替堆叠。

百万级超长上下文与高吞吐推理场景;Jamba-1.5 398B(MoE,激活 52B)支持 256K 上下文,2026 年混合架构是长上下文主流路线,面试高频对比 SSM 与 attention 的复杂度与记忆能力。

注意力 $O(n^2)$ 的时间/显存随序列平方增长,超长序列不可行;SSM 每 token 显存恒定(状态维度 $d \times m$),训练可用并行扫描;但固定大小的状态难以精确召回历史,纯 SSM 在记忆与检索类任务上偏弱,混合架构用少量注意力层恢复精确检索,以更低算力逼近全注意力质量。

检验攻克程度：针对「SSM/线性注意力混合」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。