M4-100M4: 序列与 Transformer模型压缩与蒸馏Easy
⚡闪卡盲测➔掌握度:
解释剪枝的三种粒度。
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
非结构化(单个权重,稀疏但硬件难加速)、结构化(整通道/头/层,硬件友好)、半结构化(N:M 稀疏,硬件支持)。
📌 核心要点提炼
- •非结构化:粒度最细、压缩率高,但需专门硬件/库才能加速
- •结构化:直接减小矩阵形状,通用硬件即可加速
- •半结构化(2:4):NVIDIA 稀疏张量核心支持,兼顾两者
📐 数学机理与严密推导
数学机理:三种粒度。(1) 非结构化剪枝(unstructured)——按单个权重剪(如把绝对值最小的 90% 权重置 0);压缩率最高(可达 90%+ 稀疏),模型变成稀疏矩阵。问题——通用 GPU 对稀疏矩阵的加速有限(稠密张量核心无法直接利用稀疏性;需专门的稀疏库如 cuSPARSE,但实际加速常远低于稀疏率)。故'稀疏 90%'常只带来很小的实际加速。(2) 结构化剪枝(structured)——按结构单元剪:剪掉整个通道(channel)、注意力头(head)、甚至整层(layer);结果是更小的稠密矩阵,故通用硬件可直接加速(矩阵变小、FLOPs 真实下降)。代价——同样的'参数量减少'下,结构化剪枝对精度的损害通常大于非结构化(因为剪掉的是整个功能单元)。如何决定剪哪些——用重要性准则:(a) 幅度(权重的 L1/L2 范数);(b) 梯度/二阶信息(如 Taylor 展开、OBD/OBS 用 Hessian);(c) 激活(如通道激活的方差、BN 的缩放因子 γ,Network Slimming 用 γ 作为重要性);(d) 可学习(用门控/掩码,训练时学出哪些该剪)。(3) 半结构化(semi-structured / N:M 稀疏)——要求每 M 个连续权重中恰好有 N 个非零(如 2:4,即每 4 个保留 2 个);NVIDIA Ampere 及以后的稀疏张量核心原生支持,可带来约 2 倍的理论加速。这是'兼顾压缩率与硬件加速'的方案,已成为工业界主流(如 2:4 稀疏)。其他——(a) 非结构化 + 硬件(未来若有稀疏加速硬件);(b) 块稀疏(按块剪,硬件友好)。实践——'先剪枝再微调'(prune then finetune)是标准流程;也有'训练时稀疏'(如 sparse from scratch、Lottery Ticket)。
🏭 深度剖析与工业落地权衡
深度剖析与工程权衡:① '压缩率 ≠ 加速比'是核心教训——非结构化剪枝的稀疏率与加速比严重脱节(因访存不规则、需索引开销);故工业界更看重结构化/半结构化(有真实硬件支持)。这与稀疏注意力、MoE 的'FLOPs 降低不等于加速'是同一类问题。② N:M 稀疏的工业地位——2:4 稀疏在 NVIDIA 硬件上有原生支持(稀疏张量核心),且精度损失可通过'稀疏感知训练'控制;故它是当前'稀疏加速'最实用的方案。③ 剪枝与量化的正交性——剪枝减少'参数个数'、量化减少'每参数字节';两者可叠加(稀疏 + 低比特)。④ Lottery Ticket 假说——Frankle & Carbin 发现'随机初始化的稠密网络中存在一个稀疏子网络(中奖彩票),单独训练它能达到原网络精度';这暗示'稠密网络大部分参数是冗余的',但也引发了'稀疏训练是否真能省算力'的争论(因为找到子网络的成本高)。⑤ LLM 剪枝的特殊性——LLM 对剪枝敏感(尤其结构化剪枝会显著掉点),因为其知识分布式存储;故 LLM 压缩更依赖量化与蒸馏(而非剪枝);近年有 SparseGPT/Wanda 等'一次性剪枝'方法(用校准数据估计重要性,可剪 50% 而损失较小)。⑥ 面试要点——被问'剪枝',应给出'非结构化(高压缩、难加速)/ 结构化(易加速、损精度)/ 半结构化 2:4(硬件支持,主流)'三类与取舍,并强调'压缩率 ≠ 加速比';能提到'SparseGPT/Wanda 的一次性剪枝'与'Lottery Ticket'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
- ✕只看稀疏率不看实际加速比
- ✕以为非结构化剪枝能在通用 GPU 上线性加速
🎯 面试官连环追问与延伸考察
- ?为什么非结构化剪枝难以加速?
- ?结构化剪枝如何决定剪哪些通道?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!