M5-126M5: NLP 与大语言模型模型合并与蒸馏Medium
⚡闪卡盲测➔掌握度:
解释多 LoRA 服务与适配器合并的差异。
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
多 LoRA 服务:同一基座 + 动态加载不同适配器(省显存、可热切换);合并:把适配器烘焙进权重(推理无开销、但不可切换)。
📌 核心要点提炼
- •多 LoRA 服务:基座共享 + 按请求切换适配器(省显存)
- •合并:把增量烘焙进权重(无推理开销、单一能力)
- •选择:需要多任务/多租户 → 多 LoRA;单一能力/极致性能 → 合并
📐 数学机理与严密推导
数学机理:两种使用方式。(1) 多 LoRA 服务(multi-LoRA serving)——(a) 共享一个基座模型(显存中只存一份权重);(b) 为每个任务/租户维护一个小的 LoRA 适配器(几 MB~几百 MB);(c) 推理时按请求动态加载对应的适配器(
W + B_iA_i 的增量在计算时加上,或用专门的 kernel 批量处理多个适配器)。优点:(a) 省显存——N 个任务的显存 ≈ 1 个基座 + N 个小适配器(而非 N 个完整模型);(b) 可热切换(不同请求用不同适配器,无需换模型);(c) 可动态增删(新任务加适配器即可)。缺点:(a) 推理有额外开销(加载适配器、计算增量);(b) 批量效率降低(同一 batch 内不同请求用不同适配器,难以用大矩阵乘——除非用专门的 multi-LoRA kernel);(c) 实现复杂(需要 serving 框架支持,如 vLLM 的 multi-LoRA、S-LoRA)。(2) 适配器合并(merge)——把 LoRA 增量烘焙进基座权重:W' = W + (α/r)·BA(或合并多个:W + Σ);合并后是一个普通的稠密模型。优点:(a) 无推理开销(就是普通模型,可用最快的 kernel);(b) 可进一步量化/优化(如把合并后的模型量化);(c) 部署简单。缺点:(a) 不可切换(合并后失去原基座与其他适配器);(b) 若要多个能力,需分别合并成多个模型(显存 ×N);(c) 合并多个 LoRA 时可能有干扰(需 TIES/DARE)。选择依据——(a) 多任务/多租户服务 → 多 LoRA 服务(省显存、可切换);(b) 单一能力的生产部署 → 合并(推理最快);(c) 需要极致性能且只有一个任务 → 合并 + 量化;(d) 需要快速迭代多个任务 → 多 LoRA(避免每次重训/重合并)。与'模型合并'的关系——'合并 LoRA'是'模型合并'在 PEFT 上的特例(因为 LoRA 增量本身就是任务向量);多 LoRA 服务则是'不合并、动态组合'的思路。注意——合并是不可逆的(除非保存了原基座与适配器);故生产上应保留原基座 + 适配器(可随时重新合并或切换)。🏭 深度剖析与工业落地权衡
深度剖析与工程权衡:① '多 LoRA 服务省显存'的量化——若 10 个任务各需一个 7B 模型,则完整模型需 10×14GB=140GB;多 LoRA 只需 14GB(基座)+ 10×0.1GB=15GB。这是数量级的节省。② '批量效率'是多 LoRA 的痛点——同一 batch 内不同请求用不同适配器时,难以用大矩阵乘(因为每个请求的权重不同);专门的 multi-LoRA kernel(如 S-LoRA)可缓解,但仍有开销。故高并发同任务场景合并更优。③ '合并的不可逆性'需注意——合并后原基座与适配器被'覆盖';故应保留原件(可重新合并或切换)。④ '合并多个 LoRA 的干扰'——多个适配器相加可能有冲突(同任务向量相加);故需 TIES/DARE 等处理。⑤ '量化与合并的顺序'——通常'先合并再量化'(合并后是普通模型,可整体量化);若'先量化再合并'则需注意量化误差与 LoRA 精度不匹配。⑥ 面试要点——被问'多 LoRA 服务 vs 合并怎么选',应给出'多 LoRA(共享基座、省显存、可切换、有推理开销、批量效率低)vs 合并(无开销、部署简单、不可切换、需 ×N 显存)'与'多任务/多租户用多 LoRA、单一能力生产用合并';能指出'合并不可逆需保留原件'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
- ✕认为多 LoRA 服务没有推理开销
- ✕合并后不保留原基座与适配器(无法回退)
🎯 面试官连环追问与延伸考察
- ?多 LoRA 服务为什么省显存?
- ?合并后还能'切回去'吗?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!