M5-133M5: NLP 与大语言模型高效微调 PEFTMedium
⚡闪卡盲测➔掌握度:
解释 Prefix/Prompt Tuning 与 LoRA 的差异。
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
Prompt/Prefix Tuning 在输入/每层加可学习前缀(改激活);LoRA 改权重(加低秩增量);后者更通用且可合并。
📌 核心要点提炼
- •Prompt Tuning:只在输入加可学习嵌入(参数极少)
- •Prefix Tuning:在每层的 KV 前加可学习前缀(更强)
- •LoRA:改权重(低秩增量)——更通用、可合并、无推理开销
📐 数学机理与严密推导
数学机理:三类 PEFT 的机制差异。(1) Prompt Tuning(Lester 等 2021)——在输入层前加若干个可学习的嵌入向量('软提示'),只训练这些嵌入(参数量极小,如 100 个 × d)。特点——参数量最少;但表达力最弱(只影响输入层);缺点——在小模型上效果差(需模型足够大才有'软提示'能力)、占用上下文长度(前缀占用 token 位置)。(2) Prefix Tuning(Li & Liang 2021)——在每一层的注意力计算前,给 K 和 V 拼接可学习的前缀(即每层都加'虚拟的 KV 对')。特点——比 Prompt Tuning 强(影响每层);缺点——(a) 占用注意力计算(每层多算前缀长度)、(b) 减少可用的上下文长度(因为前缀占位置)、(c) 推理时有额外计算(不像 LoRA 可合并)。(3) LoRA——修改权重(W + BA)。特点——(a) 表达力强(直接改权重);(b) 可合并(推理时无额外开销);(c) 不占上下文(不占用 token 位置);(d) 在大/小模型上都有效。对比总结——(a) 参数量:Prompt Tuning < Prefix Tuning < LoRA(但都远小于全参);(b) 表达力:LoRA > Prefix > Prompt(一般规律);(c) 推理开销:LoRA 可合并(0);Prefix/Prompt 有额外计算(且占上下文);(d) 小模型适用性:LoRA 好;Prompt/Prefix 在小模型上差(研究表明 <10B 时 Prompt Tuning 明显不如 LoRA,但模型越大差距越小);(e) 易用性:LoRA 生态最成熟。为什么 Prefix/Prompt 在小模型上差——它们依赖'模型能理解软提示'的能力,这需要模型足够大(有足够的'通用性');小模型的容量不足以从软提示中'解读'任务。其他 PEFT——(a) Adapter(在层间插入小 MLP 模块,有推理延迟);(b) IA³(对激活做逐元素缩放,参数极少);(c) BitFit(只训 bias,参数极少但表达力有限)。实践选择——LoRA 是默认(综合最优);Prefix/Prompt 用于'参数极致受限'或'需要动态切换多个任务提示'的场景;Adapter 在部分场景仍有使用。
🏭 深度剖析与工业落地权衡
深度剖析与工程权衡:① 'LoRA 可合并、Prefix 不可'是关键工程差异——LoRA 合并后是普通模型(无额外开销);Prefix 每层都有额外计算且占用上下文。故生产环境 LoRA 更优。② 'Prefix 占用上下文长度'——因为它占用 token 位置(每层的前缀相当于额外的 KV);这对长上下文场景不利。③ '小模型上 Prompt/Prefix 效果差'——这是'模型容量不足'的体现;故小模型应用 LoRA。④ 'LoRA 生态最成熟'——工具支持(PEFT 库、vLLM 的 multi-LoRA)、社区适配器丰富;这降低了使用门槛。⑤ '多任务管理'——LoRA 的适配器可多任务共存(multi-LoRA 服务);Prompt/Prefix 也可(不同的软提示);但 LoRA 可合并(多任务能力合并),Prefix 不行。⑥ 面试要点——被问'Prompt/Prefix Tuning 与 LoRA 的差异',应给出'作用位置(输入/每层 KV vs 权重)+ 表达力 + 是否可合并 + 是否占上下文 + 小模型适用性'的对比,并给出'LoRA 是默认选择'的结论;能指出'Prefix 占上下文且不可合并'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
- ✕在小模型上用 Prompt Tuning(效果差)
- ✕认为 Prefix Tuning 可合并进权重(不可)
🎯 面试官连环追问与延伸考察
- ?为什么 Prefix Tuning 会'占用上下文长度'?
- ?哪种方法在小模型上更差?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!