M5-007M5: NLP 与大语言模型预训练目标与数据Easy
⚡闪卡盲测➔掌握度:
解释因果语言建模(CLM)与掩码语言建模(MLM)的差异。
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
CLM 预测下一个 token(因果 mask,可生成);MLM 随机掩码预测被掩位置(双向,不能直接生成)。
📌 核心要点提炼
- •CLM:因果注意力,每 token 一个监督信号,天然可生成
- •MLM:双向注意力,只监督被掩位置(约 15%),不能直接生成
- •CLM 是当前 LLM 主流;MLM 主要用于编码器/表示学习
📐 数学机理与严密推导
数学机理:CLM(Causal Language Modeling)——用因果(下三角)mask 的注意力,目标是最小化'预测下一个 token'的负对数似然:L=−Σ_t log p(x_t|x_{<t})。特点:(a) 每个位置都是监督信号(N 个 token 提供 N 个预测任务),训练信号密集;(b) 天然可生成(自回归采样与训练目标一致);(c) 只需单向上下文(与生成场景一致);(d) 可复用 KV cache 做增量推理。MLM(Masked Language Modeling,BERT)——随机把约 15% 的 token 替换为
[MASK](其中 80% 替换、10% 随机替换、10% 保持,以缓解'预训练-微调不一致'),用双向注意力预测被掩位置的原始 token:L=−Σ_{i∈M} log p(x_i|x_{\setminus M})。特点:(a) 双向上下文(每个位置可看左右),故表示更适合理解类任务(分类、NER、抽取);(b) 训练信号稀疏(只监督 15% 的位置);(c) 不能直接生成(因为训练时看到未来、且目标是'填空'而非'续写');(d) 存在 预训练-微调不一致(预训练有 [MASK]、下游任务没有)。关键差异总结——(a) 注意力方向:CLM 因果、MLM 双向;(b) 监督密度:CLM 100%、MLM 15%;(c) 可用性:CLM 可生成、MLM 擅理解;(d) 规模效应:CLM 随规模持续提升(且可统一所有任务为生成),MLM 的收益在规模化上不如 CLM——这是 Decoder-only + CLM 成为主流的原因。其他目标——(a) Prefix-LM(前缀双向 + 后缀因果);(b) Span corruption(T5:掩码连续片段并预测,兼顾两者);(c) FIM(Fill-in-the-Middle)(代码场景,把中间段移到末尾预测,使 CLM 具备'填空'能力);(d) 去噪目标(BART)。🏭 深度剖析与工业落地权衡
深度剖析与工程权衡:① '监督密度'的量化价值——CLM 每 token 都是监督,MLM 只有 15%;若以'每个 token 的监督次数'衡量,CLM 的数据效率(按此口径)更高。但 MLM 的双向性带来更强的表示质量——这是'效率 vs 表示质量'的权衡。② MLM 的 80/10/10 技巧——直接用
[MASK] 会让模型学到'只在看到 [MASK] 时预测',造成预训练-微调不一致;故 BERT 用 80% [MASK]、10% 随机词、10% 原词的混合。这是'缓解分布不匹配'的经典手法。③ CLM 的统一性优势——CLM 可把所有任务表达为'条件续写'(分类=续写标签、抽取=续写答案、翻译=续写译文),故一个模型可覆盖多任务,且 in-context learning 天然涌现。这是 Decoder-only 胜出的结构性原因。④ 与长上下文的关系——CLM 的因果性使 KV cache 增量推理可行(生成第 t 个 token 只需新 token 的 Q 与历史的 K/V);MLM 的双向性则无法做增量生成。⑤ FIM 的工程价值——代码补全需要'在中间插入'(而非只在末尾续写);FIM 把'前缀 + 后缀 + 中间'重排为'前缀 + 后缀 → 中间',使 CLM 学会填空;这是'用重排让 CLM 支持新任务'的巧妙手法。⑥ 面试要点——被问'CLM vs MLM',应给出'注意力方向 + 监督密度 + 是否可生成 + 规模效应'四维对比,并说明'CLM 因统一性与可生成性成为主流';能提到'FIM 让 CLM 支持填空'与'MLM 的 80/10/10'是深度理解的标志。⚠️ 常见面试陷阱与高频失分点
- ✕以为 MLM 也能直接用于生成
- ✕忽略 MLM 的预训练-微调不一致问题
🎯 面试官连环追问与延伸考察
- ?为什么 MLM 需要 mask token 而 CLM 不需要?
- ?MLM 的训练信号密度如何?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!