M5-002M5: NLP 与大语言模型TokenizationEasy
⚡闪卡盲测➔掌握度:

比较 BPE、WordPiece 与 Unigram。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M5-003 →
📐 核心数学机理公式
WordPiece score(a,b)=count(ab)count(a)count(b);Unigram:L=∑log⁡p(subword)\text{WordPiece score}(a,b)=\frac{\mathrm{count}(ab)}{\mathrm{count}(a)\mathrm{count}(b)};\qquad \text{Unigram}: \mathcal{L}=\sum\log p(\text{subword})
⚡ 一句话直击要害答案
BPE 按频次合并;WordPiece 按'似然增益'合并(BERT);Unigram 从大词表出发按概率剪枝(T5/SentencePiece)。

📌 核心要点提炼

  • •
    BPE:频次驱动的合并(自底向上)
  • •
    WordPiece:似然比驱动的合并(偏好'共同出现'的组合)
  • •
    Unigram:概率模型 + 剪枝(自顶向下),支持多种分词采样

📐 数学机理与严密推导

数学机理:三种算法的差异在'合并/剪枝的判据'与'方向'。(1) BPE——自底向上,合并频次最高的相邻对:merge*=argmax count(a,b)。问题——只考虑绝对频次,可能合并'虽然频繁但语义上不构成整体'的组合(如 de 在 de+f 与 ide 中含义不同)。(2) WordPiece(BERT 用)——自底向上,但合并判据是似然比(点互信息式):score(a,b)=count(ab)/(count(a)·count(b))。直觉——它偏好'单独出现少、但一起出现多'的组合(即'共同出现'的强关联),而非单纯高频;这使合并更'有意义'(如 ing 作为后缀的关联性强)。(3) Unigram(SentencePiece 的默认,T5/ALBERT/LLaMA 用)——自顶向下:先构造一个很大的候选子词集合(如所有高频子串),用一元语言模型(每个子词独立概率,句子的概率是子词概率之积)在语料上最大化似然训练概率,然后剪枝掉'删除后损失增加最小'的子词,逐步缩到目标词表。关键优势:(a) 概率模型使同一文本可有多种分词(按概率采样),支持subword regularization(训练时随机采样分词,提升鲁棒性)与 BPE-dropout;(b) 自顶向下的剪枝可全局权衡(不像 BPE 的贪心)。共同点——都产生子词词表、都解决 OOV、都被 SentencePiece/tiktoken 等库实现。实践——BPE 最简单最快(GPT 系用 tiktoken 的 BPE/BBPE);WordPiece 是 BERT 的遗产;Unigram 在 T5/LLaMA 系常用,且支持采样增强。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① '自底向上 vs 自顶向下'的本质差异——BPE/WordPiece 从字符开始合并(局部贪心、无法撤销);Unigram 从大集合开始剪枝(全局权衡、可重新评估)。这使 Unigram 在理论上更接近'最优词表',但训练成本更高(需 EM 迭代)。② subword regularization 的价值——Unigram 的概率模型允许'同一句有多种分词',训练时随机采样可 (a) 提升对分词差异的鲁棒性、(b) 起到数据增强作用;BPE 需专门的 BPE-dropout 才能实现类似效果。③ 词表共享与多语言——多语言模型(mBERT、XLM-R、mT5)需在多语言语料上联合训练 tokenizer;此时词表分配(每种语言分到多少 token)成为公平性问题(低资源语言被压缩得更厉害)。④ 确定性对可复现性的影响——BPE/WordPiece 的分词是确定性的(给定词表),便于缓存与复现;Unigram 若启用采样则非确定(训练时),推理时通常用 Viterbi 最优分词(确定性)。⑤ 与 SentencePiece 的关系——SentencePiece 把'预处理(空格处理)'与'分词'统一(把空格也视为普通符号 ▁),使分词可逆(可精确还原原文);这对多语言与代码很重要(避免'去空格/加空格'的不可逆处理)。⑥ 面试要点——被问'三种分词的区别',应给出'合并判据(频次 / 似然比 / 概率剪枝)+ 方向(自底向上 / 自顶向下)',并说明'Unigram 支持 subword regularization'与'SentencePiece 保证可逆';能指出'多语言词表分配公平性'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    以为 WordPiece 与 BPE 只是命名不同(判据不同)
  • ✕
    忽略 Unigram 的采样增强能力
🎯 面试官连环追问与延伸考察
  • ?
    为什么 WordPiece 用似然比而不是频次?
  • ?
    Unigram 的 EM 如何优化?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M5-001: 解释 BPE 算法,并说明它为什么被广泛使用。📋 返回题库下一题 →M5-003: 解释词表大小对模型的影响与取舍。