M5-004M5: NLP 与大语言模型TokenizationMedium
⚡闪卡盲测➔掌握度:
解释 tokenizer 对下游指标的影响,为什么跨模型比较 PPL 不公平。
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
PPL 是'每 token 的困惑度',与分词粒度强相关;不同 tokenizer 的 PPL 不可直接比较,需按'每字节'归一化。
📌 核心要点提炼
- •PPL 的分母是 token 数,不同分词得到不同的 N
- •粗粒度分词 → 每 token 更难预测 → PPL 更高(但信息量相同)
- •用 BPB(bits-per-byte)归一化才可比
📐 数学机理与严密推导
数学机理:PPL 的定义——PPL=exp(−(1/N)Σ_{i=1}^{N} log p(t_i)),其中 N 是token 数、p(t_i) 是模型对第 i 个 token 的预测概率。关键问题——同一段文本,用粗粒度分词(每 token 覆盖更多字节)得到较小的 N,但每个 token 更难预测(p 更小);用细粒度分词得到较大的 N,但每个 token 更易预测(p 更大)。两者的 PPL 会系统性不同,尽管它们建模的是同一份数据。故'PPL=10'对不同 tokenizer 的模型不可直接比较——一个用 50k 词表(英文压缩率约 4 字节/token)与一个用 256k 词表(约 5 字节/token)的模型,即使'每字节的建模能力相同',PPL 也会不同。公平的比较方式——BPB(bits per byte):把 PPL 转换成'每字节的比特数':BPB = log₂(PPL) × N / B(B 为字节数),或等价地 BPB = −(1/B)Σ log₂ p(t_i)。它把'每 token 的信息量'按'每字节'归一化,从而与分词无关(因为分母是字节数)。同类指标——(a) bits per character(BPC);(b) 每字节交叉熵。其他受影响的下游指标——(a) 生成任务的 token 级指标(如 BLEU 不受分词影响,但'每 token 成本'受影响);(b) 上下文有效长度(同一窗口能容纳的字节数不同 → 实际能处理的文本量不同);(c) 推理成本(token 数决定计算量);(d) 微调/RLHF 的 token 级奖励(若按 token 平均,分词会影响奖励尺度)。
🏭 深度剖析与工业落地权衡
深度剖析与工程权衡:① BPB 是跨模型比较的标准——在学术论文与模型对比中,报告 BPB(而非 PPL)是规范做法;若只报告 PPL,应注明 tokenizer。这是评测素养的体现。② 'PPL 低'的陷阱——一个模型 PPL 低可能是因为 (a) 它见过测试数据(污染)、(b) tokenizer 更细粒度、或 (c) 测试集与训练集分布接近;故 PPL 低不等于能力强。③ 与上下文有效长度的关系——256k 词表的模型在同一 128k 窗口下能容纳更多字节(因为压缩率更高),故'名义上下文长度'相同时有效信息量不同;这对长上下文评测有影响(应报告'每窗口字节数')。④ 与推理成本的关系——分词决定 token 数 → 决定计算与成本;故'同质量下 token 数更少'的 tokenizer 有实际经济价值(这也是大词表的一个卖点)。⑤ 多语言比较的困难——不同语言的 fertility 差异大(中文/日文每字多 token),故'跨语言 PPL 比较'更需谨慎;应按'每字节'或'每字符'归一化,并分别报告各语言。⑥ 面试要点——被问'PPL 能否跨模型比较',应明确回答'不能,因为 PPL 的分母是 token 数、与分词粒度强相关',并给出 BPB 这一归一化方案与公式;能联系到'上下文有效信息量'与'多语言 fertility'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
- ✕直接比较不同 tokenizer 模型的 PPL
- ✕把 PPL 低等同于模型能力强
🎯 面试官连环追问与延伸考察
- ?为什么 PPL 低不代表模型强?
- ?如何公平比较不同 tokenizer 的模型?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!