填充与打包 Padding/Packing

Padding (填充) 把 batch 内长度不等的序列补齐到同一长度,以对齐 GPU 矩阵运算 —— 通常动态 pad 到 batch 内最长序列(或 8/16 的倍数);Packing (打包) 则把多条短序列无分隔符地拼接进同一条长序列,彻底消除 pad token 的计算浪费,训练时用注意力 mask / loss mask 屏蔽跨样本边界。

训练与推理的 batching —— 动态 padding 比固定最大长度显著省算力;长短差异大的数据集(如指令微调数据)训练时,用 sequence packing 把样本拼接至接近 $L_{max}$;也是 FlashAttention 高效训练的前置要求。

固定长度 padding 在短文本占比高时,pad token 可占计算量的 50% 以上,且 pad 位置仍会产生无效注意力;Packing 把有效 token 利用率提升到接近 100%,但必须 mask 掉拼接边界,否则模型会学到“跨样本预测”的错误模式。

动态 padding 与固定长度 padding 各节省什么?为什么 pad 到 8/16 的倍数?

Sequence packing 如何消除 pad token 浪费?跨样本边界如何 mask?

pad token 参与注意力计算会带来什么问题?attention mask 的作用?

Packing 时 loss 计算要注意什么?为什么需要 loss mask?

Padding/Packing 与 FlashAttention、PagedAttention 的关系?