M4-102M4: 序列与 Transformer模型压缩与蒸馏Medium
⚡闪卡盲测➔掌握度:

解释推理加速的几条路线与适用条件。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M4-103 →
📐 核心数学机理公式
speedup∈{quant, sparse, distill, arch, sys, spec}\text{speedup}\in\{\text{quant},\ \text{sparse},\ \text{distill},\ \text{arch},\ \text{sys},\ \text{spec}\}
⚡ 一句话直击要害答案
量化、剪枝/稀疏、蒸馏/小模型、架构优化(注意力)、系统优化(批处理/融合/编译)、投机解码。

📌 核心要点提炼

  • •
    模型侧:量化、稀疏、蒸馏、架构(GQA/滑窗/SSM)
  • •
    系统侧:批处理、融合、编译、PD 分离
  • •
    解码侧:投机解码(改善单请求延迟)

📐 数学机理与严密推导

数学机理:六条路线,按'作用层次'分类。(1) 量化(quantization)——降低权重/激活/KV 的位数(FP16→INT8/INT4);收益稳定(2~4 倍)、质量损失可控、生态成熟(GPTQ/AWQ/vLLM)。适用条件:几乎所有推理场景(尤其 memory-bound)。(2) 稀疏/剪枝——减少计算(结构化/2:4)或参数;收益依赖硬件支持(2:4 稀疏有原生加速)。适用条件:有稀疏硬件支持、且能接受质量损失。(3) 蒸馏/小模型——用更小的模型达到接近的质量;收益最大(可能 10 倍以上),但需重训、且上限受小模型容量限制。适用条件:有充足训练资源、可接受质量上限。(4) 架构优化——GQA/MLA(省 KV)、滑窗/稀疏注意力(省计算)、SSM(线性复杂度);收益大(尤其长上下文)、但需'训练时就用'(不能事后改)。适用条件:可从头训练或继续预训练。(5) 系统优化——批处理(连续批)、算子融合、编译(torch.compile/TensorRT)、PD 分离;收益大(2~10 倍)、无损(不改模型)、但需工程投入。适用条件:服务端部署(高并发)。(6) 投机解码——用草稿模型一次验证多 token;改善单请求延迟(2~3 倍),大 batch 时收益下降。适用条件:低负载、延迟敏感的场景。叠加性——六条路线基本正交,可叠加(如:量化 + GQA + 连续批处理 + 融合 + 投机解码);实践中按'无损优先(系统优化)→ 低风险(量化)→ 需训练(架构/蒸馏)→ 有风险(稀疏)'的顺序推进。收益的'记忆点'——量化 2~4×、系统优化 2~10×、蒸馏 10×+、投机 2~3×(延迟)。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① '无损优先'的工程原则——系统优化(批处理/融合/编译)不改模型、无质量损失,应首先做;量化质量损失小、生态成熟,其次;架构/蒸馏需训练,再次;稀疏风险最大,最后。这是实践中的推进顺序。② memory-bound vs compute-bound 的对应——(a) memory-bound 场景(decode、长上下文)→ 优先'减少字节'(量化、GQA/MLA、KV 压缩);(b) compute-bound 场景(prefill、大 batch 训练)→ 优先'减少 FLOPs'(稀疏、蒸馏、架构)。理解瓶颈才能选对路线(见 roofline 题)。③ '收益的来源'分解——不同路线的收益机制不同:量化省带宽、稀疏省算力、蒸馏省两者、系统优化省固定开销;故它们的收益曲线随负载变化(如投机解码在小 batch 收益大、大 batch 收益小)。④ 工程成熟度——量化的工具链最成熟(vLLM/TensorRT-LLM/GPTQ/AWQ);架构优化的收益最大但需重训;系统优化需深度工程投入。⑤ 与 SLO 的关系——优化需在'延迟 SLO'约束下最大化吞吐(goodput),而非无约束最大化吞吐;故需按 SLO 选择路线组合。⑥ 面试要点——被问'如何加速推理',应给出'六条路线 + 作用层次 + 叠加性 + 推进顺序(无损优先)',并能按'瓶颈(memory/compute-bound)'选择路线;这是推理优化类问题的框架性回答。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    只提量化而不知其他路线
  • ✕
    不区分 memory-bound 与 compute-bound 的优化方向
🎯 面试官连环追问与延伸考察
  • ?
    哪条路线的收益最稳定?
  • ?
    各路线能否叠加?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M4-101: 解释蒸馏中的 on-policy 与 off-policy 数据差异。📋 返回题库下一题 →M4-103: 解释量化感知训练(QAT)与训练后量化(PTQ)的取舍。