M5-125M5: NLP 与大语言模型模型合并与蒸馏Easy
⚡闪卡盲测➔掌握度:
解释 TIES 与 DARE 的核心思想。
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
TIES:修剪小值 + 符号一致时合并 + 按符号选多数,缓解干扰;DARE:随机丢弃增量并重缩放,减少冗余与冲突。
📌 核心要点提炼
- •TIES:修剪(去掉小幅度值)→ 选符号(多数投票)→ 只合并同号项
- •DARE:随机把增量置零并重缩放(数学上近似原增量)
- •目标:缓解多个任务向量相加时的'干扰'
📐 数学机理与严密推导
数学机理:问题:任务向量相加的干扰——直接相加 Στ_i 时,若不同任务向量在同一参数上有相反的符号(一个想增大、一个想减小),则相加后相互抵消,导致两个任务都学不好。TIES(Trim, Elect Sign & Merge,Yadav 等 2023) 的三步:(1) Trim(修剪)——对每个任务向量,把幅度很小的值置零(只保留 top-k% 的重要参数);理由:小值多为噪声、且易造成冲突。(2) Elect Sign(选符号)——对每个参数位置,统计各任务向量的符号,取多数符号作为'合并方向'(sign voting)。(3) Disjoint Merge(不相交合并)——只把符号与多数符号一致的那些值相加(忽略符号冲突的项)。效果——缓解干扰(避免相互抵消),使多任务合并更稳定。DARE(Drop And REscale,Yu 等 2023) 的思想——观察到微调的增量(Δθ=θ_ft−θ_base)具有大量冗余(很多参数变化很小或可省略);故 (1) Drop——随机把增量中的一部分(比例 p)置零;(2) Rescale——把剩余的非零值放大 1/(1−p)(补偿丢弃的部分,使期望不变)。数学依据——若丢弃是随机的,则'丢弃 + 重缩放'后的增量在期望上等于原增量(无偏估计);这使'随机稀疏化'不损失信息(期望意义上)。效果——(a) 减少冗余(更稀疏的增量);(b) 减少冲突(随机丢弃使不同任务向量的冲突参数更可能被'错开');(c) 可与 TIES 组合(DARE + TIES 是常用组合)。其他方法——(a) Model Soup(简单平均多个微调模型);(b) SLERP(球面插值,保持范数);(c) Fisher Merging(用 Fisher 信息加权);(d) RegMean(最小二乘解)。共同目标——在'合并多个模型/任务向量'时最大化保留各任务能力、最小化干扰。
🏭 深度剖析与工业落地权衡
深度剖析与工程权衡:① '符号冲突导致抵消'是干扰的核心机制——TIES 的'符号投票 + 只合并同号'直接针对这一点;面试中能解释这一点是深度理解的标志。② 'DARE 的数学依据(无偏估计)'很优雅——随机丢弃 + 重缩放使期望不变,故'稀疏化不损失信息';这与 dropout 的思想相通(随机置零 + 重缩放)。③ '修剪小值'的双重作用——(a) 去噪(小值多为噪声)、(b) 减少冲突(小值易与别的任务冲突);故 Trim 是有效的前置步骤。④ 'DARE + TIES 组合'是实践常用——先用 DARE 随机稀疏化(减少冗余),再用 TIES 处理符号冲突;两者互补。⑤ '合并的前提是同一基座'——所有任务向量必须基于同一个 θ_base(否则'方向'无意义);这是使用前提。⑥ 面试要点——被问'TIES 与 DARE',应给出'TIES 三步(修剪/选符号/只合并同号)针对符号冲突;DARE(随机丢弃 + 重缩放)基于无偏估计减少冗余'与'组合使用';能解释'符号冲突为何导致抵消'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
- ✕直接相加任务向量而不处理符号冲突
- ✕用不同基座模型的任务向量做合并
🎯 面试官连环追问与延伸考察
- ?为什么'符号冲突'会导致干扰?
- ?DARE 的数学依据是什么?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!