State Space Models (Mamba / S4): SSM 的初始化与数值稳定性有什么特殊之处？

Core Concept: A 的初始化决定记忆特性（HiPPO/S4D 用特定结构）；离散化 exp(ΔA) 易溢出，需参数化约束（如 A 用负实部）。

数学机理：<strong>稳定性的要求</strong>——连续 SSM 的解为 h(t)=∫_0^t e^{A(t−s)}Bx(s)ds，其中 e^{At} 的行为由 A 的特征值决定：若特征值有<strong>正实部</strong>，则 e^{At} 指数增长（状态爆炸）；若为<strong>纯虚数</strong>，则振荡不衰减（记忆不遗忘）；若为<strong>负实部</strong>，则指数衰减（稳定且会遗忘）。故 A 需有<strong>负实部</strong>以保证稳定性与'遗忘'。实践中用参数化约束：A=−exp(A_log)（保证负实部）或 A=A_diag+低秩修正。<strong>离散化后的稳定条件</strong>——Ā=exp(ΔA)：若 A 的实部为负，则 Ā 的特征值模长 <1（衰减），故递归 h_t=Āh_{t−1}+... 是<strong>收缩</strong>的（不会爆炸）；这是 SSM 数值稳定的基础。<strong>HiPPO 初始化</strong>——A 的<strong>具体结构</strong>决定'如何压缩历史'。S4 用 <strong>HiPPO 矩阵</strong>（High-order Polynomial Projection Operators）：它使状态成为'输入历史的<strong>最优多项式逼近系数</strong>'（在特定正交多项式基下），从而在固定维状态下<strong>最优地</strong>保留长程信息（相比随机 A 能记忆更久）。直觉上，HiPPO 让'最近的历史被精确记忆、久远的历史被平滑压缩'——这正符合'遗忘曲线'。<strong>S4D 的简化</strong>——研究发现 HiPPO 的<strong>对角近似</strong>（S4D）就足够好，且计算更简单（对角矩阵的幂/指数易算）；Mamba 用'对角 A + 输入依赖的 Δ'。<strong>数值细节</strong>——exp(ΔA) 在大 Δ 或大 |A| 时可能溢出；故需限制 Δ 的范围（如 Δ=softplus(·) 保证正、并做上界裁剪）与 A 的初始化范围。

深度剖析与工程权衡：① <strong>'负实部 A'是稳定性的必要条件</strong>——这与 RNN 的'谱半径 <1'是同一思想（都要求递归收缩）；面试中能指出这一联系很好。② <strong>HiPPO 的理论价值</strong>——它给出了'固定维状态如何最优压缩无限长历史'的数学答案（基于正交多项式的投影理论）；这是 S4 相对早期 SSM 的关键改进（早期 SSM 记忆很短）。③ <strong>对角化的工程动机</strong>——对角 A 使 Ā=exp(ΔA) 与状态更新可逐元素计算（无矩阵乘），大幅提升效率；S4D/Mamba 用对角 + 低秩（部分）实现'效率与表达力的折中'。④ <strong>Δ 的参数化</strong>——Δ 需为正（步长）且不能过大（数值稳定），故用 softplus 激活 + 上界裁剪；Δ 的'输入依赖'正是 Mamba 选择性的来源（Δ 大=快速更新、Δ 小=保持）。⑤ <strong>与 RNN 初始化技巧的类比</strong>——LSTM 的遗忘门 bias 初始化为正（默认保留）与 SSM 的 A 初始化（决定遗忘速率）是同一类'通过初始化控制记忆'的技巧。⑥ <strong>面试要点</strong>——被问'SSM 的初始化/数值稳定'，应给出'<strong>A 需负实部保证稳定与遗忘 + HiPPO 初始化实现最优历史压缩 + 对角化提升效率 + Δ 用 softplus 约束</strong>'；能联系到'RNN 谱半径 <1'与'LSTM 遗忘门 bias'是深度理解的标志。