State Space Models (Mamba / S4): 解释状态空间模型（SSM）的基本形式。

Core Concept: 用线性递归 h'(t)=Ah(t)+Bx(t)、y=Ch(t) 描述序列；离散化后用卷积或扫描并行计算，复杂度线性。

数学机理：<strong>连续形式</strong>——SSM 源于控制论，用一阶微分方程描述状态演化：h'(t)=Ah(t)+Bx(t)、y(t)=Ch(t)+Dh(t)，其中 h 为隐状态、x 为输入、A 为状态转移矩阵、B/C 为投影。<strong>离散化</strong>——用零阶保持（ZOH）或双线性变换把连续参数转为离散：Ā=exp(ΔA)、B̄=(ΔA)^{−1}(exp(ΔA)−I)·ΔB，其中 Δ 是步长（可学习）。得到递归形式：h_t=Āh_{t−1}+B̄x_t、y_t=Ch_t——这与 RNN 形式相同！<strong>关键差异（为什么 SSM 能并行而 RNN 不能）</strong>——RNN 的递归含<strong>非线性</strong>（tanh/门控），故无法展开为卷积；而<strong>线性时不变（LTI）</strong> SSM 的递归是<strong>线性</strong>的，可以<strong>展开为卷积</strong>：y=K̄ * x，其中卷积核 K̄=(CB̄, CĀB̄, CĀ²B̄, ...) 由 (A,B,C,Δ) 唯一决定。<strong>于是</strong>：(a) <strong>训练</strong>——用卷积（或 FFT）一次算完整个序列，复杂度 <strong>O(L log L)</strong>（FFT）或 O(L·N)（直接卷积），可<strong>完全并行</strong>；(b) <strong>推理</strong>——用递归形式逐步计算，状态大小固定（N 维），<strong>每个 token 只需 O(N) 计算与 O(1) 内存</strong>（不像 Transformer 的 KV cache ∝L）。这就是 SSM 的'<strong>训练并行、推理线性</strong>'的双重优势——它兼具 CNN 的并行性与 RNN 的推理效率。<strong>代表</strong>——S4（Gu 等 2021）用 HiPPO 初始化 A 以记忆长程依赖；Mamba（Gu & Dao 2023）引入'选择性'（见下一题）。

深度剖析与工程权衡：① <strong>'线性递归 = 卷积'是核心洞察</strong>——它使 SSM 摆脱了 RNN 的串行限制；理解这一点是掌握 SSM 的关键。② <strong>与 Transformer 的对比</strong>——(a) <strong>训练复杂度</strong>：Transformer O(L²)（注意力）、SSM O(L log L)（FFT 卷积）或 O(L)（扫描）；(b) <strong>推理复杂度</strong>：Transformer 每步 O(L)（读 KV cache）、SSM 每步 O(1)（固定状态）；(c) <strong>能力</strong>：Transformer 的注意力可做'精确内容检索'（任意位置直达），SSM 的状态是<strong>固定维的压缩</strong>（类似 RNN 的信息瓶颈），故在'需要精确检索'的任务上弱。这解释了为何混合架构（SSM + 少量注意力）成为主流。③ <strong>HiPPO 初始化的作用</strong>——A 的初始化决定'记忆什么、遗忘什么'；S4 用 HiPPO 矩阵（基于正交多项式的最优记忆逼近）使状态能有效压缩长程历史。④ <strong>状态维度 N</strong>——状态维度决定'记忆容量'；N 越大记忆越强但计算越贵。⑤ <strong>与注意力的统一视角</strong>——两者都是'序列混合'（token mixing）算子，可互换（MetaFormer 框架）；差异在'混合的机制与复杂度'。⑥ <strong>面试要点</strong>——被问'SSM 是什么'，应给出'<strong>连续递归 → 离散化 → 线性递归 → 可展开为卷积 → 训练并行 + 推理 O(1)</strong>'的逻辑链，并对比'SSM 状态固定（信息瓶颈）vs 注意力可精确检索'；这是 SSM 类问题的核心。