M4-105M4: 序列与 Transformer模型压缩与蒸馏Hard
⚡闪卡盲测➔掌握度:
解释 LoRA / QLoRA 与全量微调的取舍。
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
LoRA 用低秩增量(A·B)只训少量参数;QLoRA 再叠加 4-bit 基座量化;全量微调上限最高但显存与灾难遗忘风险大。
📌 核心要点提炼
- •LoRA:冻结基座、只训低秩增量,参数量降 10⁴ 倍
- •QLoRA:基座 4-bit 量化 + LoRA(单卡微调大模型)
- •全量:上限最高但需大量显存/数据,易灾难遗忘
📐 数学机理与严密推导
数学机理:LoRA(Low-Rank Adaptation)——观察到'微调时的权重变化 ΔW 具有低秩性'(即微调主要改变权重空间中的少数方向);故用低秩分解参数化增量:W'=W+(α/r)·BA,其中 B∈ℝ^{d×r}、A∈ℝ^{r×k}(r≪min(d,k)),冻结 W、只训练 A 与 B。参数量——从 d×k 降到 r×(d+k);以 d=k=4096、r=8 为例,参数量从 16.7M 降到 65K(降 256 倍);对整个模型,可训练参数常降 10⁴ 倍。收益——(a) 显存:优化器状态只针对 LoRA 参数(Adam 的 m/v 只占少量);(b) 存储:不同任务的适配器只需存几十 MB(而非整个模型);(c) 无推理延迟(可把 BA 合并回 W);(d) 缓解灾难性遗忘(基座冻结,原能力保留)。QLoRA——在 LoRA 之上进一步把基座模型量化到 4-bit(NF4)并冻结,只训 LoRA(保持 BF16);这使'在单张 48GB 卡上微调 65B 模型'成为可能。QLoRA 的三个关键组件:(a) NF4(4-bit NormalFloat,为正态分布设计的信息论最优量化);(b) 双重量化(对量化常数再量化,进一步省显存);(c) 分页优化器(用统一内存避免显存尖峰)。全量微调——更新所有参数;上限最高(能充分适配新领域)、但 (a) 显存需求 ∝ 参数量×16(含优化器)、(b) 需大量数据(否则灾难遗忘)、(c) 每个任务存一份完整模型。取舍——(a) 数据少/任务近(如指令微调、风格适配)→ LoRA/QLoRA 足够;(b) 数据多/领域远(如新语言、新模态)→ 全量或'继续预训练 + LoRA';(c) 资源受限 → QLoRA。
🏭 深度剖析与工业落地权衡
深度剖析与工程权衡:① '低秩性'的经验依据——Aghajanyan 等发现'微调的 intrinsic dimension(内在维度)远小于参数量',即微调只在低维子空间内移动;这是 LoRA 有效性的理论基础。但注意:预训练不能低秩(需要充分探索),低秩性是'微调'的特性。② 秩 r 的选择——r 越大表达力越强但参数越多;常用 r=8~64。经验上 (a) 简单任务 r=8 足够;(b) 复杂/领域远任务需 r=64~256;(c) 也有'增加 r 但用 LoRA+ 的缩放'的研究。③ 应用位置——LoRA 通常加在注意力层的 Q/K/V/O 投影上;也有加在 FFN 上(覆盖更广、参数更多);QLoRA 论文建议'对所有线性层都加 LoRA'效果最好。④ α/r 缩放——α 是缩放因子;固定 α/r 的比例可让'改变 r 时不必重调学习率'(α 通常设为 r 的 1~2 倍)。⑤ 与其他 PEFT 的对比——(a) Adapter(插入小模块,有推理延迟);(b) Prefix/Prompt Tuning(加可学习前缀,参数更少但表达力受限);(c) LoRA(无推理延迟、表达力好,成为主流);(d) DoRA(分解为幅度与方向,改善 LoRA)。⑥ 面试要点——被问'LoRA/QLoRA',应给出'低秩增量 W+BA + 冻结基座 → 参数降 10⁴ 倍 + 无推理延迟 + 缓解遗忘'与'QLoRA = NF4 + 双重量化 + 分页优化器 + LoRA',并给出'按数据量与领域距离选择微调方式'的决策;能提到'内在维度理论'与'DoRA'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
- ✕以为 LoRA 会增加推理延迟(可合并回 W)
- ✕在领域距离很远时只做 LoRA(容量不足)
🎯 面试官连环追问与延伸考察
- ?为什么低秩增量足够?
- ?LoRA 的秩 r 如何选?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!