M5-006M5: NLP 与大语言模型TokenizationHard
⚡闪卡盲测➔掌握度:

解释词表扩展(vocabulary expansion)的做法与注意点。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M5-007 →
📐 核心数学机理公式
enew∼N(μold,σold);then continue pretraining with lower lre_{\text{new}}\sim\mathcal{N}(\mu_{\text{old}},\sigma_{\text{old}});\qquad \text{then continue pretraining with lower lr}
⚡ 一句话直击要害答案
为新语言/领域追加 token 并初始化其 embedding,再继续训练;注意初始化方式、学习率与对原能力的保护。

📌 核心要点提炼

  • •
    追加 token → 扩展 embedding 与输出层 → 初始化新行 → 继续预训练
  • •
    新 token 的 embedding 常用旧 token 的均值/同方差采样初始化
  • •
    注意:原 token 的分词分布会变化(需重新适配)

📐 数学机理与严密推导

数学机理:动机——原 tokenizer 对目标语言/领域效率低(fertility 高);扩展词表可 (a) 降低 token 数(省推理成本)、(b) 提升上下文有效容量、(c) 让模型更高效地学习该语言/领域。做法:(1) 训练新 tokenizer 或增量合并——在目标语料上训练一个 tokenizer,或把新子词并入原词表(保持原 token 的 id 不变,新 token 追加在后);(2) 扩展参数矩阵——把输入 embedding 矩阵 E∈ℝ^{V×d} 扩展为 E'∈ℝ^{(V+K)×d},输出层同理(若 tied 则一起扩展);(3) 初始化新行——常用 (a) 均值初始化(新 token 的向量 = 原词表 embedding 的均值)、(b) 同分布采样(从原 embedding 的均值与方差采样),避免用随机初始化(会引入分布外的大梯度);(4) 继续预训练(continued pretraining)——用目标语言/领域语料继续训练,学习率较小(如原预训练 lr 的 1/10),步数视数据量而定;可只训练 embedding 与输出层(冻结其余)或全参数微调。注意点:(a) 原 token 的分布变化——新词表改变了分词方式,原语言的文本也会被切成不同的 token 序列(虽然原 token id 未变),故模型需'重新适应'新分词分布;(b) 原能力的保护——继续预训练可能导致灾难性遗忘,故常混合原语言数据(如 10%~30%)以保持原能力;(c) 输出层与 tied embedding——若 tied,扩展需同步(否则输入输出不一致);(d) 位置编码与上下文——扩展词表不改变最大长度,但'每 token 字节数'变化会影响有效容量。效果——对低资源语言/新领域,词表扩展通常比'不改词表直接继续训练'更高效(序列更短、学习更快)。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① '新 token 的初始化'是关键细节——用随机初始化会让新 token 在训练初期产生异常大的梯度(因为其 embedding 远离训练分布),可能破坏模型;均值/同分布初始化使新 token 从'合理的起点'开始学习。② 词表扩展 vs 从头训练 tokenizer——扩展保留原模型能力(推荐);从头换 tokenizer 等于'重训整个模型'(不现实)。故实践中'扩展'是主流。③ 与 LoRA/PEFT 的组合——若只想加新语言能力,可'扩展词表 + 继续训练 embedding + LoRA 微调其余层';这比全参数继续预训练便宜得多。④ 对原语言的性能影响——扩展后原语言的分词会变化(新词表可能改变合并规则);若新词表是在'原语料 + 新语料'上重训的,可能损害原语言的压缩率;故常采用'增量合并'(保留原合并规则、只追加新 token)以最小化影响。⑤ 评估方式——需分别测 (a) 目标语言的 token 效率(fertility/压缩率)、(b) 目标语言的任务指标、(c) 原语言的任务指标(确保未遗忘);三者缺一不可。⑥ 面试要点——被问'如何让模型支持新语言',应给出'扩展词表(增量合并 + 均值初始化)+ 继续预训练(小 lr + 混合原语料)+ 评估双向指标'的流程,并说明'均值初始化'与'灾难性遗忘防护'两个关键点;这是'工程落地'类问题的高分回答。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    用随机初始化新 token 的 embedding
  • ✕
    继续预训练时不混合原语料(导致遗忘)
🎯 面试官连环追问与延伸考察
  • ?
    为什么新 token 要用均值初始化?
  • ?
    词表扩展对原能力有什么风险?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M5-005: 解释分词对多语言与代码的影响与常见问题。📋 返回题库下一题 →M5-007: 解释因果语言建模(CLM)与掩码语言建模(MLM)的差异。