M4-022M4: 序列与 TransformerTransformer 架构解剖Medium
⚡闪卡盲测➔掌握度:
解释 Transformer 的深度与宽度权衡(scaling 视角)
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
给定算力,深度与宽度存在最优比;scaling law 显示宽度与深度应大致同比例增长,而非极端偏向一方。
📌 核心要点提炼
- •计算量 C≈6ND(N 参数、D token)
- •深度增加提升'串行计算步数'(推理能力)
- •宽度增加提升'单步表达力'(容量)
📐 数学机理与严密推导
数学机理:计算量公式——训练计算量 C≈6ND(N 为参数量、D 为训练 token 数),其中系数 6 = 前向 2 + 反向 4(每次乘加计 2 FLOPs)。对 Transformer,N≈12d²L(d 为宽度、L 为深度),故 C∝d²L·D。给定算力下的最优配比——scaling law 的研究(Kaplan 等 2020、Chinchilla 等 2022、以及'深度-宽度 scaling'专门研究)显示:(a) 参数量 N 与数据量 D 应大致同比例增长(Chinchilla 最优约 D≈20N);(b) 在固定 N 下,深度 L 与宽度 d 应大致同比例增长(d∝L 的近似),极端偏向一方(如极深而窄、或极宽而浅)都不优。为什么——深度决定'串行计算步数'(每层可做一次非线性变换),与推理/组合能力直接相关(见'表达力与理论限制'题:深度 L 可表达 L 步串行计算);宽度决定'单步的表达力与信息带宽'(更宽的表示可容纳更多特征、更小的注意力/FFN 瓶颈)。实证——GPT-3 系列(d=12288、L=96)与 LLaMA 系列(d=8192、L=80)都遵循 d 与 L 大致同比例;而'极深'(L=1000+、d 很小)与'极宽'(L=12、d 极大)的配置都表现不佳。此外,深度有额外的工程约束——深层模型的梯度稳定性更差(需 Pre-LN、DeepNorm、μP 等)、推理时层串行导致延迟更高。
🏭 深度剖析与工业落地权衡
深度剖析与工程权衡:① 深度的'推理'价值——理论表明深度决定串行计算步数,故对多步推理任务深度更关键;这解释了'为什么推理模型往往更深'以及'CoT 能部分替代深度'(把串行计算外化到序列)。② 宽度的'知识'价值——更宽的模型有更大的 FFN(键值记忆)与更多的注意力头,故知识容量更大;这解释了'宽模型在知识密集任务上更强'。③ 工程权衡——(a) 深度 → 延迟:推理时层是串行的,深模型单 token 延迟高(虽然总 FLOPs 可能相同);(b) 宽度 → 显存:宽模型的激活与 KV cache 更大;(c) 并行性:宽度易并行、深度难并行。故实际配置受部署约束影响。④ 与 MoE 的关系——MoE 通过'增大 N(总参数)但不增大激活量'来提升容量,相当于在'宽度'维度上做了稀疏扩展;这为'容量 vs 计算'提供了新轴。⑤ Chinchilla 与'过度训练'——Chinchilla 指出早期大模型'参数大但数据少'(训练不足);后续 LLaMA 系列则故意'用更多数据训练更小模型'(over-training)以降低推理成本——这是'训练算力 vs 推理算力'的权衡,属于工程层面的 scaling 决策。⑥ 面试要点——被问'怎么分配算力',应给出'C≈6ND → N≈12d²L → d 与 L 大致同比例'的推理链,并说明'深度管推理、宽度管知识/容量'的分工与'深度换延迟'的工程代价;能提到 MoE 与 over-training 是明显加分。
⚠️ 常见面试陷阱与高频失分点
- ✕极端偏向深度或宽度(应大致同比例)
- ✕忽略深度的推理延迟代价
🎯 面试官连环追问与延伸考察
- ?为什么极深或极宽的模型都不好?
- ?深度与推理能力的关系?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!