Model Merging & Distillation: 解释蒸馏中的容量差距与数据量需求。

Core Concept: 学生容量远小于教师时，硬拟合教师分布困难（容量差距）；需足够数据与合适温度，或分阶段蒸馏。

数学机理：<strong>容量差距（capacity gap）</strong>——当学生的参数量远小于教师时，学生<strong>无法完全拟合</strong>教师的输出分布（尤其是教师的高维、精细的概率分布）。<strong>后果</strong>——(a) <strong>拟合不足</strong>（学生只能学到'粗糙'的近似）；(b) <strong>可能有害</strong>——有研究表明，当差距过大时，'学教师的软标签'可能不如'直接学硬标签'（因为软标签中的精细信息超出学生容量，反而成为噪声）；(c) <strong>温度敏感</strong>——容量差距大时，需要<strong>更高的温度</strong>（更平滑的分布）使软标签更'容易学'。<strong>缓解手段</strong>——(1) <strong>更多数据</strong>——数据量增加可降低'过拟合教师输出'的风险，提升泛化（数据量是缓解容量差距的关键）；(2) <strong>合适温度</strong>——容量差距大时用更高温度（τ=4~20），使分布更平滑；(3) <strong>分阶段蒸馏（TAKD / 助教）</strong>——先蒸馏到一个<strong>中间规模</strong>的模型，再蒸馏到目标小模型（每一步的容量差距都不太大）；这比'直接大→小'效果好；(4) <strong>特征蒸馏</strong>——不只学输出，还学中间层特征（提供更丰富的监督）；(5) <strong>只学部分</strong>——只对'学生能学会的'部分做蒸馏（如只学 top-k 类别的相对关系）；(6) <strong>与学生能力匹配的教师</strong>——用'规模相近但更强'的教师（如集成多个小模型作为教师）比'用超大模型'更有效。<strong>数据量需求</strong>——(a) 蒸馏通常<strong>比从头训练更省数据</strong>（因为软标签提供了额外信息，等于'数据增强'）；(b) 但仍需<strong>足够的覆盖</strong>（覆盖目标任务分布）；(c) 若数据极少，蒸馏的效果受限（无法泛化）。<strong>实证</strong>——(a) 在图像分类上，蒸馏通常优于'学生直接训练'（同数据）；(b) 但'大教师 → 极小学生的直接蒸馏'常不如'分阶段'或'小教师'；(c) 在 LLM 上，'用大模型的输出做数据蒸馏（SFT）'需要<strong>大量数据</strong>（数十万到数百万条）才能有效。<strong>与'RFT/自蒸馏'的关系</strong>——自蒸馏（教师=学生自己或同规模）没有容量差距问题，但上限受自身能力限制。

深度剖析与工程权衡：① <strong>'容量差距过大时蒸馏可能有害'是反直觉但重要的结论</strong>——故'用最大的教师'不一定最好；应选<strong>与学生规模匹配</strong>的教师（或分阶段）。② <strong>'分阶段蒸馏（助教）'是有效的工程手段</strong>——它把'大差距'分解为多个'小差距'；代价是多一次训练。③ <strong>'温度需随容量差距调整'</strong>——差距大 → 温度高（更平滑）；这是实践中容易忽略的超参。④ <strong>'数据量是缓解差距的关键</strong>——数据足够时，学生可通过泛化'弥补'容量不足；数据不足时，学生只能'记住'教师的输出（过拟合）。⑤ <strong>'特征蒸馏 vs logit 蒸馏'</strong>——容量差距大时，中间层特征蒸馏常比 logit 蒸馏更有效（因为特征比最终分布更'可学'）。⑥ <strong>面试要点</strong>——被问'蒸馏中容量差距的影响'，应给出'<strong>差距大 → 难拟合 → 可能有害（软标签成噪声）</strong>'与'<strong>缓解（更多数据/更高温度/分阶段/特征蒸馏/匹配的教师）</strong>'；能指出'用最大教师不一定最好'是深度理解的标志。