State Space Models (Mamba / S4): 解释 Mamba 的选择性机制（selective SSM）。

Core Concept: 让 B、C、Δ 依赖输入（时变），使模型能'选择性'记忆或忽略信息；代价是无法用卷积，改用并行扫描。

数学机理：<strong>S4 的局限</strong>——S4 的 (A,B,C,Δ) 是<strong>时不变（LTI）</strong> 的：无论输入是什么，状态转移与读写方式都相同。这意味着模型无法<strong>根据内容决定</strong>'记住什么、忽略什么'——例如遇到'无关的填充词'时应忽略、遇到'关键实体'时应记住，但 LTI 系统做不到（它对所有 token 一视同仁）。这与语言建模的需求不符（语言需要选择性地关注关键信息）。<strong>Mamba 的选择性（selective SSM）</strong>——让 <strong>B_t、C_t、Δ_t 成为输入的函数</strong>（B_t=f_B(x_t)、C_t=f_C(x_t)、Δ_t=f_Δ(x_t)，通常用线性投影 + 激活实现）。<strong>效果</strong>——Δ_t 相当于'门控'：Δ 大时状态更新快（记新信息、忘旧信息）、Δ 小时状态保持（忽略输入）；B_t、C_t 决定'写什么、读什么'。故模型能实现'<strong>选择性记忆</strong>'（类似 LSTM 的门控，但更灵活、且是输入依赖的连续门）。<strong>代价（关键）</strong>——一旦 (A,B,C,Δ) 时变，递归就<strong>不再是线性时不变的</strong>，故<strong>无法展开为卷积</strong>（卷积核随位置变化），S4 的 FFT 并行训练失效。<strong>Mamba 的解法</strong>——用<strong>并行扫描（parallel scan / selective scan）</strong>：虽然不能卷积，但递归 h_t=Ā_t h_{t−1}+B̄_t x_t 仍可用<strong>关联扫描（associative scan）</strong> 并行计算（因为它是'线性递归'，满足结合律），复杂度 O(L)，且通过<strong>核融合</strong>（把离散化、扫描、输出投影融合在一个 kernel 内、数据留在 SRAM）实现高效。<strong>结果</strong>——Mamba 既保留了'输入依赖的选择性'（质量提升），又保持了'线性复杂度 + 并行训练 + O(1) 推理状态'。

深度剖析与工程权衡：① <strong>'选择性'是 Mamba 相对 S4 的核心贡献</strong>——它把 SSM 从'固定记忆'升级为'内容依赖的记忆'，使其在语言建模上能与 Transformer 竞争；论文报告 Mamba 在同等规模下匹配或超过 Transformer。② <strong>并行扫描的效率</strong>——关联扫描的并行深度为 O(log L)，但需要多次数据搬运；Mamba 的关键工程是<strong>核融合</strong>（把整个 SSM 层的计算（离散化 + 扫描 + 输出）放在一个 kernel 内，中间数据留在 SRAM），避免 HBM 往返（与 Flash Attention 的思想一致）。③ <strong>与门控 RNN 的关系</strong>——Mamba 的选择性可视为'LSTM 门控的现代化版本'：都是输入依赖的门控，但 Mamba 用线性递归 + 并行扫描使其可并行训练（LSTM 不能）。故 Mamba 是'RNN 思想 + 现代硬件'的复兴。④ <strong>推理的 O(1) 状态</strong>——Mamba 推理时只需维护固定维状态（不随长度增长），故<strong>长序列推理的显存与延迟是常数</strong>；这是相对 Transformer（KV cache ∝L）的巨大优势（流式场景尤其重要）。⑤ <strong>能力的局限</strong>——选择性 SSM 仍是'固定维状态的压缩'，在'需要精确检索任意位置'的任务（如长文档中的细节问答）上弱于注意力；这是混合架构（SSM + 注意力）的动机。⑥ <strong>面试要点</strong>——被问'Mamba 的选择性'，应给出'<strong>让 B/C/Δ 依赖输入 → 获得内容依赖的门控 → 但破坏 LTI 故不能用卷积 → 改用并行扫描 + 核融合</strong>'的因果链，并说明'它是 LSTM 门控思想的现代化'；能对比'SSM 固定状态 vs 注意力精确检索'是深度理解的标志。