Regularization & Training Tricks: 什么是 Mixup 与 CutMix？为什么它们有效。

Core Concept: Mixup 对样本与标签做线性插值；CutMix 用区域粘贴替换插值；两者都扩展数据分布、平滑决策边界。

数学机理：<strong>Mixup（Zhang 等 2018）</strong> 构造虚拟样本 x̃=λx_i+(1−λ)x_j、ỹ=λy_i+(1−λ)y_j，其中 λ∼Beta(α,α)。其理论解释：等价于对损失函数施加 <strong>Lipschitz 约束</strong>——要求模型在'样本对连线'上的输出变化不超过标签的变化，即鼓励决策边界在样本间<strong>线性过渡</strong>。从正则视角看，Mixup 阻止了模型对单个样本的'记忆'，迫使它在插值区域也给出合理预测，从而降低对噪声标签与对抗扰动的敏感度。<strong>CutMix（Yun 等 2019）</strong> 用二值掩码 M 做 x̃=M⊙x_i+(1−M)⊙x_j，标签按掩码面积比例混合。与 Mixup 的关键差异：CutMix 保留了<strong>真实像素</strong>（不做加权混合），故不产生'半透明/不自然'的样本，且迫使模型<strong>从局部区域推断类别</strong>——这增强了定位能力（对检测/分割任务友好），而 Mixup 的线性混合会模糊空间结构。

深度剖析与工程权衡：① <strong>对任务类型的适配</strong>——Mixup 适合分类；CutMix 因保留局部语义，在检测/分割/细粒度分类上更优；两者可组合（如 AugMix）。② <strong>对校准的影响</strong>——Mixup 显著改善模型校准（confidence 更接近准确率），因为插值标签抑制了过度自信；这对需要概率输出的场景（如风险模型）很有价值。③ <strong>与标签噪声的关系</strong>——Mixup 对标签噪声有一定鲁棒性（噪声标签被稀释），但 α 过大会引入过多'无意义样本'、损害精度。④ <strong>在现代训练中的位置</strong>——CV 训练（如 ImageNet）常标配 Mixup/CutMix；但 LLM 预训练不用（文本插值无意义）；在 VLM 训练中，图像侧有时用 Mixup 增强、文本侧不用。⑤ <strong>与 EMA/长训练的配合</strong>——Mixup 需要更长训练（因其'软化'了目标），故常配 cosine 长调度与 EMA。⑥ <strong>面试要点</strong>——回答'为什么有效'要落到'平滑决策边界 / Lipschitz 约束 / 抑制记忆'，而非笼统的'增加数据'；同时指出 CutMix 保留真实像素这一关键差异。