Positional Embeddings (Sinusoidal, RoPE, ALiBi): 解释 ALiBi 的线性偏置与它的外推性。

Core Concept: 不加位置编码，直接在注意力 logits 上加 −m_h·(i−j) 的线性衰减；不同头用不同斜率，外推性极强且零参数。

数学机理：<strong>ALiBi（Attention with Linear Biases，Press 等 2021）</strong> 的设计极简：<strong>完全不添加位置编码</strong>，而是在注意力 logits 上直接加一个与相对距离成正比的<strong>线性负偏置</strong>：logits_{ij} += −m_h·(i−j)，其中 m_h 是第 h 个头固定的斜率（不同头用<strong>几何序列</strong>，如 1/2, 1/4, 1/8, …）。这使注意力权重随距离<strong>指数衰减</strong>（因为 softmax 的输入含线性负项）。<strong>为什么外推性好</strong>——(1) <strong>偏置是位置的线性函数</strong>：对任意距离 (i−j)（无论是否在训练范围内）都有定义，且<strong>行为完全一致</strong>（不像正弦编码的相位在远距离变得不可区分）；(2) <strong>零参数、无位置表</strong>：没有'超出训练长度就无定义'的问题；(3) <strong>多斜率分工</strong>：不同头有不同的衰减速率，使模型可同时表达'强局部关注'（大斜率头）与'长程关注'（小斜率头），且这种分工在任意长度下都保持。实证上，ALiBi 在 1k 长度上训练的模型可外推到 2k+ 且性能衰减缓慢，显著优于正弦编码。<strong>与滑动窗口注意力的关系</strong>——ALiBi 的强斜率头近似实现'局部窗口'（远距离权重≈0），弱斜率头近似实现'全局关注'；故 ALiBi 可视为'用软偏置实现多尺度窗口'，无需硬性的窗口划分。<strong>代价</strong>——ALiBi 不提供<strong>精确的绝对位置</strong>信息（只有相对距离），故在需要精确位置的任务（如按索引检索）上不如 RoPE；且其'1D 线性衰减'不易扩展到图像的二维位置。

深度剖析与工程权衡：① <strong>'软衰减 vs 硬窗口'</strong>——ALiBi 的线性偏置是'软'的（远距离权重小但非 0），滑动窗口注意力是'硬'的（直接屏蔽）；软偏置更平滑、可学习调整（虽然 ALiBi 的斜率是固定的），硬窗口更省算力。② <strong>与 RoPE 的对比定位</strong>——RoPE 强调'相对位置可精确区分'（适合需要位置精度的任务），ALiBi 强调'距离衰减与可外推'（适合需要长度泛化的任务）；实践中 RoPE + 外推技术已占主流，但 ALiBi 在'极致外推'场景仍有价值。③ <strong>斜率的选择</strong>——Press 等用几何序列（1/2, 1/4, ...）而非线性或随机，因为几何序列覆盖多个时间尺度且比值均匀；这与'多尺度'的直觉一致。④ <strong>BLOOM 的使用</strong>——BLOOM 是采用 ALiBi 的代表性大模型；其长上下文表现与'训练长度外推'能力被广泛验证。⑤ <strong>与位置编码的'混合'</strong>——部分工作尝试'ALiBi + RoPE'混合（部分层用 ALiBi 提供外推、部分层用 RoPE 提供精度），是位置编码设计的新探索。⑥ <strong>面试要点</strong>——被问'ALiBi 为什么外推强'，核心答案是'<strong>线性偏置对任意距离行为一致、零参数、多斜率分工</strong>'；并能说明'它牺牲了精确绝对位置'与'不易扩展到 2D'，体现权衡意识。