Model Merging & Distillation: 解释模型合并与集成的差异。

Core Concept: 合并：参数层面合为一个模型（推理成本不变）；集成：保留多个模型在预测层面平均（更稳但成本 ×N）。

数学机理：<strong>两种'组合多个模型'的方式</strong>。<strong>(1) 模型集成（ensemble）</strong>——保留 N 个<strong>独立的模型</strong>，推理时<strong>平均它们的预测</strong>（或投票）：ŷ = Σ_i w_i f_i(x)。<strong>原理</strong>——若各模型的误差<strong>不相关</strong>，则平均后<strong>方差降低</strong>（误差相互抵消）；这带来<strong>稳定</strong>的性能提升（通常 1~3%）。<strong>优点</strong>——(a) 稳定提升（几乎总能提升）；(b) <strong>无'同一盆地'要求</strong>（各模型可以完全不同）；(c) 可给出不确定性估计（模型间分歧）。<strong>缺点</strong>——(a) <strong>推理成本 ×N</strong>（显存与延迟）；(b) 训练成本 ×N；(c) 部署复杂。<strong>(2) 模型合并（merge）</strong>——在<strong>参数层面</strong>把多个模型合为<strong>一个</strong>：θ = Σ w_i θ_i（权重平均）或任务算术。<strong>原理</strong>——若各模型位于<strong>同一个损失盆地</strong>（损失面的同一'山谷'内不同位置），则它们的<strong>参数平均</strong>仍在盆地内（性能良好），且<strong>更接近盆地中心</strong>（平坦解，泛化更好）。<strong>优点</strong>——(a) <strong>推理成本 1×</strong>（就是一个普通模型）；(b) 部署简单；(c) 可进一步量化/优化。<strong>缺点</strong>——(a) <strong>要求同一盆地</strong>——若模型在不同盆地（独立训练的模型常如此），参数平均会落到'盆地之间的高损失脊'上（性能崩塌）；(b) 需注意 BN 统计的重估；(c) 提升幅度通常小于集成（或有时无提升）。<strong>为什么集成更稳</strong>——因为它不需要'同一盆地'假设（各模型独立即可）；而合并的成功依赖'模型在参数空间上足够接近'（如同一基座的不同微调、或 SWA 的检查点）。<strong>实践</strong>——(a) <strong>独立训练多个模型</strong> → 只能集成（不能合并）；(b) <strong>同一基座的不同微调</strong>（多任务/多 LoRA） → 可合并（任务算术）；(c) <strong>同一训练的多个检查点</strong>（SWA） → 可合并；(d) <strong>追求极致性能且不在意成本</strong> → 集成；(e) <strong>追求部署效率</strong> → 合并（或用蒸馏把集成压缩为单模型）。<strong>与蒸馏的关系</strong>——若集成的推理成本不可接受，可用<strong>蒸馏</strong>把集成的'知识'压缩到单个模型（'集成蒸馏'）；这是'既要性能又要效率'的常见方案。

深度剖析与工程权衡：① <strong>'同一盆地'是合并的前提</strong>——这解释了为什么'独立训练的模型不能直接平均'；面试中能指出这一点是深度理解的标志。② <strong>'集成更稳但更贵、合并更省但受限'</strong>——这是核心权衡；选择取决于性能需求与成本约束。③ <strong>'集成蒸馏'是两全方案</strong>——先用集成获得高性能，再蒸馏到单模型（接近集成性能但推理成本 1×）；代价是多一次训练。④ <strong>'BN 重估'是合并的必要步骤</strong>——权重平均后激活分布改变，BN 的 running stats 需重新估计（否则推理失配）；这是实现中最易漏的细节。⑤ <strong>'集成的边际收益递减'</strong>——N 从 1→5 提升明显，5→20 收益递减；且成本线性增长；故常取 3~5 个模型。⑥ <strong>面试要点</strong>——被问'合并与集成的区别'，应给出'<strong>参数层面 vs 预测层面 + 推理成本（1× vs N×）+ 是否要求同一盆地</strong>'，并说明'<strong>集成更稳、合并更省</strong>'与'<strong>集成蒸馏</strong>'的方案；能指出'BN 重估'是深度理解的标志。