M5-136M5: NLP 与大语言模型高效微调 PEFTHard
⚡闪卡盲测➔掌握度:
解释 LoRA 的变体(DoRA / LoRA+ / rsLoRA)与秩的选择。
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
DoRA 分解为幅度与方向(更接近全参);LoRA+ 给 B 更大 lr;rsLoRA 修正缩放;秩按任务距离选。
📌 核心要点提炼
- •DoRA:把权重分解为'幅度'与'方向',只对方向用 LoRA
- •LoRA+:给 B 与 A 不同的学习率(B 更大)
- •rsLoRA:把缩放从 α/r 改为 α/√r(大秩时更稳)
- •秩 r:任务近用小(8),远用大(64~256)
📐 数学机理与严密推导
数学机理:三个主要变体。(1) DoRA(Weight-Decomposed Low-Rank Adaptation,Liu 等 2024)——把权重分解为幅度(magnitude) 与方向(direction) 两部分:W = m · (V/‖V‖_c)(m 是每列的幅度标量、V/‖V‖ 是归一化方向)。DoRA 的做法是:幅度单独训练(可学习)、方向用 LoRA 更新(W + BA 后归一化)。为什么更接近全参——研究表明全参微调与 LoRA 的学习模式不同:全参微调会同时改变'幅度'与'方向'(且幅度变化较大),而 LoRA 主要改变方向(幅度变化小);DoRA 显式分离两者,使学习模式更接近全参,从而缩小与全参的效果差距(论文报告在多个任务上优于 LoRA)。代价——额外的归一化计算(稍慢)、多一组参数。(2) LoRA+(Hayou 等 2024)——理论分析发现 LoRA 中 A 与 B 的最优学习率不应相同(因为 B 的梯度尺度与 A 不同);建议给 B 更大的学习率(如 η_B = λ·η_A,λ 常取 2~16)。收益——加速收敛、提升效果(几乎零成本)。(3) rsLoRA(Rank-Stabilized LoRA)——标准 LoRA 的缩放是 α/r;研究发现当秩 r 较大时,α/r 的缩放会导致'更新过小'(因为 1/r 衰减太快);rsLoRA 把缩放改为 α/√r,使大秩时的更新幅度合理。收益——在大秩(r≥64)时更稳定、效果更好。秩 r 的选择——(a) 任务近/数据少 → r=8~16;(b) 中等 → r=32~64;(c) 领域远/复杂任务 → r=64~256;(d) 经验:从 r=8 开始,若欠拟合则增大;(e) 注意——r 增大需配合 α 的调整(保持 α/r 或 α/√r 的比例)。其他变体——(a) LoRA-FA(冻结 A,只训 B);(b) VeRA(共享随机矩阵 + 可学习缩放,参数极少);(c) LoHa/LoKr(用 Hadamard/Kronecker 积替代矩阵乘,参数更少);(d) AdaLoRA(自适应分配不同层的秩)。共同方向——在'参数量/效果'的帕累托前沿上改进(更少参数达到同等效果,或同等参数达到更好效果)。
🏭 深度剖析与工业落地权衡
深度剖析与工程权衡:① '全参与 LoRA 的学习模式不同'是关键洞察——DoRA 基于'幅度 vs 方向'的分解来缩小差距;面试中能指出这一点是深度理解的标志。② 'LoRA+ 的零成本改进'——只改学习率(B 更大)就能加速收敛与提升效果;这是'几乎免费'的优化,应默认使用。③ 'rsLoRA 针对大秩'——当 r 较大时(≥64),标准缩放会让更新过小;用 α/√r 更稳。故'大秩时应考虑 rsLoRA'。④ '秩的选择需实验'——没有通用最优;常用'从小开始、按欠拟合情况增大'的策略。⑤ '变体的收益有限'——DoRA/LoRA+ 等的提升通常为 1~3 分;若'任务距离远',仍应转向全参或更大基座(变体无法弥补容量不足)。⑥ 面试要点——被问'LoRA 有哪些改进',应给出'DoRA(幅度/方向分解)+ LoRA+(B 更大 lr)+ rsLoRA(α/√r 用于大秩)'与'秩的选择(任务距离决定,需实验)',并指出'变体收益有限、远域任务仍需全参';这是 PEFT 类问题的深度回答。
⚠️ 常见面试陷阱与高频失分点
- ✕用大秩但不调整缩放(更新过小)
- ✕期望变体能弥补任务距离过远
🎯 面试官连环追问与延伸考察
- ?DoRA 为什么更接近全参微调?
- ?rsLoRA 解决什么问题?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!