M5-003M5: NLP 与大语言模型TokenizationMedium
⚡闪卡盲测➔掌握度:

解释词表大小对模型的影响与取舍。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M5-004 →
📐 核心数学机理公式
paramsemb=V⋅d;FLOPs∝Lrcomp (bytes per token);V↑⇒Lr↓, params↑\text{params}_{\text{emb}}=V\cdot d;\qquad \text{FLOPs}\propto \frac{L}{r_{\text{comp}}}\ (\text{bytes per token});\qquad V\uparrow\Rightarrow \frac{L}{r}\downarrow,\ \text{params}\uparrow
⚡ 一句话直击要害答案
词表大 → 序列短(推理省)但 embedding/softmax 参数多;词表小 → 参数少但序列长;经验值 32k~128k。

📌 核心要点提炼

  • •
    参数:embedding + 输出层 ∝ V×d(可能占大量参数)
  • •
    计算:序列长度 ∝ 1/压缩率 → V 大则推理更快
  • •
    经验:多语言 128k+,单语言 32k~64k 常见

📐 数学机理与严密推导

数学机理:词表大小 V 影响两个方向。(1) 参数与显存——输入 embedding 与输出投影(若 tied 则共享)各为 V×d;对小模型,这部分可能占总参数的可观比例(如 d=768、V=50k 时 V×d≈38M,占 100M 参数模型的 38%);V 增大直接增加参数与显存。(2) 序列长度与计算——同一段文本,V 越大则压缩率越高(每 token 覆盖更多字节)、序列越短。由于注意力的计算 ∝L²、KV cache ∝L、FFN ∝L,序列变短直接降低推理成本(这是大词表的核心收益)。定量直觉——若压缩率从 3 字节/token 提到 4 字节/token(V 增大 33%),则同文本的 token 数降 25%,注意力成本降约 44%((0.75)²)、KV cache 降 25%;而参数增加 V×d(相对增量可能只有几个百分点)。故对大模型,增大 V 通常是净收益(因为参数增量占比小、计算节省显著)。其他影响:(a) 稀有 token 训练不足——V 大则长尾 token 出现次数少,其 embedding 学得差(故需'高频优先'的词表构造);(b) 输出层 softmax 计算 ∝V(每 token 一次 V 维 softmax),V 极大时该开销不可忽略(但相比 L² 注意力通常次要);(c) 多语言/代码需更大 V(覆盖多种文字与符号)。经验取值——英文单语言 32k~64k(GPT-2 50k、LLaMA-2 32k);多语言/多模态 128k~256k(LLaMA-3 128k、GPT-4 系约 100k、Qwen 151k)。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① '大词表对推理有利'的量化——这常被忽视:增大 V 是降低推理成本的手段(序列变短),而非只是'参数变多'。对推理密集的部署场景,这是重要的优化维度(有工作专门'扩展词表以压缩序列')。② 与模型规模的关系——小模型(如 <1B)用大词表会'参数被 embedding 吃掉';大模型用大词表则参数增量可忽略。故词表大小应与模型规模匹配(这也是 scaling law 研究的一个维度)。③ tied embedding 的影响——共享输入/输出 embedding 可省一半 V×d 参数(小模型常用),但限制了表达(大模型常不共享);这使'词表大小的代价'在小模型上被减半。④ 多语言的公平性——联合词表下,高资源语言占更多 token(压缩率高)、低资源语言被拆得更碎(fertility 高),导致同义内容的计算成本与上下文占用不均;这是多语言模型的系统性问题,有'按语言分配词表预算'的改进研究。⑤ 词表扩展(vocabulary expansion)——给已有模型加新 token(新语言/领域符号)可提升效率,但需新 token 的 embedding 初始化与训练(通常用旧 token 的均值初始化 + 继续训练);且会改变分词分布、可能损害原能力(见后续题)。⑥ 面试要点——被问'词表大小怎么选',应从'参数(∝V×d)vs 序列长度(∝1/压缩率)'双向权衡回答,并给出'大模型偏大词表、小模型偏小词表'的经验与具体数值;能指出'大词表是降低推理成本的手段'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    只考虑参数增加而忽略序列变短带来的计算节省
  • ✕
    小模型用超大词表(参数被 embedding 吃掉)
🎯 面试官连环追问与延伸考察
  • ?
    为什么大词表能降低推理成本?
  • ?
    大词表的 softmax 计算代价如何?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M5-002: 比较 BPE、WordPiece 与 Unigram。📋 返回题库下一题 →M5-004: 解释 tokenizer 对下游指标的影响,为什么跨模型比较 PPL 不公平。