State Space Models (Mamba / S4): 比较 SSM 与注意力的复杂度与能力。

Core Concept: 训练：注意力 O(L²) vs SSM O(L)；推理：注意力每步 O(L)（KV）vs SSM O(1)（状态）；能力：注意力可精确检索，SSM 是压缩记忆。

数学机理：<strong>复杂度对比</strong>——(a) <strong>训练</strong>：注意力 O(L²d)（注意力矩阵）；SSM O(L·N·d)（卷积/扫描，N 为状态维度）——<strong>SSM 线性、注意力平方</strong>，长序列上差距巨大（L=100k 时 L²=10¹⁰ vs L=10⁵）。(b) <strong>推理</strong>：注意力每步需读取整个 KV cache（O(L)）；SSM 每步只需更新固定维状态（<strong>O(1)</strong>，与长度无关）——故 SSM 的<strong>流式推理成本恒定</strong>，而注意力的成本随上下文增长。<strong>能力对比（更本质的差异）</strong>——(a) <strong>注意力的优势：精确内容检索</strong>——注意力可让任意两个位置直接交互（路径长度 O(1)），且权重依内容动态计算；故在'从长上下文中精确找出某个事实'（NIAH）、'复制任意位置的内容'（如归纳头）、'精确匹配'等任务上，注意力天然占优。(b) <strong>SSM 的优势：长程平滑依赖与恒定成本</strong>——SSM 用固定维状态压缩历史，擅长'随时间累积的统计/趋势'（如语言模型的整体语境、时间序列的趋势），且<strong>训练与推理都高效</strong>。<strong>信息论的视角</strong>——注意力保留<strong>全部位置</strong>的信息（KV cache ∝L），故'信息无损'（可任意检索）；SSM 把历史压进<strong>固定维状态</strong>（信息瓶颈，与 RNN 同源），故'信息有损'——这决定了能力差异的<strong>根本来源</strong>。<strong>实证</strong>——在'语言建模困惑度'上 SSM 可与 Transformer 相当（甚至更好，因为平滑依赖占主导）；但在'检索密集'任务（NIAH、多跳、精确复制）上明显弱于注意力。<strong>这直接催生了混合架构</strong>（少量注意力层保证检索、大量 SSM 层保证效率）。

深度剖析与工程权衡：① <strong>'固定状态 vs 全量 KV'是根本差异</strong>——SSM 的状态是 O(N)（与长度无关），注意力是 O(L)（随长度增长）；前者效率高但有信息瓶颈、后者无瓶颈但成本高。这一权衡贯穿所有'高效序列模型'的设计。② <strong>混合架构的动机量化</strong>——若 1 层注意力（保证检索）+ 15 层 SSM（保证效率），则计算量约 1/16 的注意力成本 + 全量 SSM 成本，而检索能力主要由那 1 层提供；这是'用少量昂贵资源补足关键能力'的经典设计。③ <strong>与'检索增强'的类比</strong>——SSM 靠状态压缩记忆，若需要精确记忆可加外部检索（RAG）；这与'人靠笔记而非记忆'的类比一致。④ <strong>训练与推理的不对称</strong>——SSM 的训练复杂度 O(L) 但常数较大（扫描/卷积的并行效率不如矩阵乘）；故在某些长度区间（如 L<4k）SSM 的实际速度未必优于注意力（尤其有 Flash Attention 时）。⑤ <strong>'能力'的评测依赖</strong>——若只测 PPL，SSM 看起来与 Transformer 相当；但若测'检索/推理'任务（RULER/NIAH），差距明显。故评测设计决定结论——这是面试中值得指出的点。⑥ <strong>面试要点</strong>——被问'SSM 与注意力怎么选'，应从'<strong>复杂度（训练/推理）+ 能力（精确检索 vs 压缩记忆）+ 信息瓶颈</strong>'三维回答，并指出'混合架构是当前最优解'；能说明'评测任务决定结论（PPL 会掩盖检索能力的差距）'是深度理解的标志。