M5-124M5: NLP 与大语言模型模型合并与蒸馏Easy
⚡闪卡盲测➔掌握度:
解释任务算术(task arithmetic)与模型合并。
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
微调得到的'任务向量'(微调权重 − 基座权重)可加减组合,实现多任务能力的合并或去除。
📌 核心要点提炼
- •任务向量 τ = 微调权重 − 基座权重(表示'这个任务学了什么')
- •合并:基座 + Σ λ·τ(多个任务向量相加)
- •负任务向量可'遗忘'某能力(θ − λτ)
📐 数学机理与严密推导
数学机理:任务算术(Ilharco 等 2022)——(1) 任务向量(task vector) 定义为微调权重与基座权重之差:τ_i = θ_ft,i − θ_base;它表示'为任务 i 学到的权重变化'(可视为参数空间中的一个'方向')。(2) 多任务合并——把多个任务向量相加(可加权):θ_merged = θ_base + Σ_i λ_i·τ_i;这样合并后的模型同时具备多个任务的能力(无需联合训练)。(3) 能力去除(forgetting)——用负的任务向量:θ' = θ_base − λ·τ_i 可'遗忘'任务 i 的能力(如去掉有害行为、去掉某风格)。(4) 类比(analogy)——τ_A + τ_B − τ_C 可做'任务类比'(如 'A 的能力 + B 的风格 − C 的风格')。为什么可以相加——(a) 线性化假设——微调在参数空间中移动的'方向'近似正交(不同任务学到的变化方向不太冲突),故相加不太互相干扰;(b) 损失面的平坦性——微调的损失面较平坦,故'中间的插值点'仍性能良好(类似'模式连通性'现象);(c) LoRA 的天然契合——LoRA 的增量本身是低秩矩阵,多个 LoRA 可直接相加(
W + Σ B_iA_i),这是'任务算术'在 PEFT 上的自然实现。局限——(a) 干扰(interference)——若任务向量冲突(方向相反或高度相关),相加会损害性能(这就是 TIES/DARE 等方法要解决的);(b) 缩放敏感——λ 需调(λ 太大则过拟合某任务、太小则学不到);(c) 不是所有能力都能合并(容量有限、任务冲突);(d) 不增加容量(合并的模型参数与基座相同,故容量受限于基座)。与'集成'的区别——合并是'单模型'(参数层面),集成是'多模型'(预测层面);前者推理成本不变,后者 ∝ 模型数。🏭 深度剖析与工业落地权衡
深度剖析与工程权衡:① '参数空间的方向可以加减'是核心洞察——它把'能力'视为参数空间中的'向量',从而支持'合并'与'去除';这是'模型可编辑性'的重要进展。② 'LoRA + 任务算术'是天然组合——多个 LoRA 可 (a) 直接相加(合并多任务)、(b) 相减(去除某能力)、(c) 用不同的 λ 调权重;这使'适配器管理'非常灵活(无需重训)。③ '干扰'是主要障碍——任务向量冲突时合并会掉点;TIES(修剪小值 + 符号一致时合并)与 DARE(随机丢弃 + 重缩放)正是为解决干扰而设计。④ '能力去除'的安全价值——可用于'去毒'(去掉有害输出)、'去偏见';但需注意(a)可能损害相关能力、(b) 效果有限(能力分布式存储)。⑤ '与联邦学习/多任务的关系'——任务算术提供了'先分任务训、再合并'的流程(避免多任务联合训练的复杂度);这对'多团队协作'有工程价值。⑥ 面试要点——被问'模型合并是什么',应给出'任务向量(τ = θ_ft − θ_base)+ 相加(多任务)/ 相减(去除)+ 与 LoRA 的天然契合'与'干扰是主要障碍(TIES/DARE 解决)';能指出'合并 vs 集成的成本差异'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
- ✕认为合并总是不掉点(任务冲突时会掉)
- ✕把模型合并与集成混为一谈
🎯 面试官连环追问与延伸考察
- ?为什么任务向量可以相加?
- ?合并时为什么需要缩放 λ?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!