M5-024M5: NLP 与大语言模型指令微调与 SFTHard
⚡闪卡盲测➔掌握度:
解释 SFT 数据配比与多任务平衡。
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
多任务混合需平衡各任务的样本量与难度,避免'强任务主导'或'弱任务被淹没';用温度采样/权重调整。
📌 核心要点提炼
- •问题:任务样本量差异大 → 大任务主导梯度
- •对策:温度采样(n^α)、显式权重、按任务均衡
- •同时需平衡难度与长度(避免长样本主导 token 预算)
📐 数学机理与严密推导
数学机理:多任务 SFT 的不平衡问题——真实数据集中各任务的样本量差异极大(如通用问答 10 万条、某专业任务 500 条)。若按样本数自然采样,大任务会主导梯度(每个 batch 中大任务样本占多数),导致 (a) 小任务学不好(欠训练);(b) 模型偏向大任务的风格;(c) 小任务的能力被'淹没'。对策一:温度采样(temperature sampling)——把采样概率从 p_i∝n_i 改为 p_i∝n_i^α(α∈(0,1),常取 0.5~0.7);这压低大任务的权重、抬高小任务的权重,使各任务的'被训练程度'更均衡。α=1 是自然比例、α=0 是完全等权。对策二:显式权重——直接为各任务设权重 w_i(按业务重要性或'能力缺口');更可控但需调参。对策三:按'有效 token 数'均衡——因为不同任务的回答长度差异大(长推理 vs 短分类),按'样本数'均衡仍可能让长样本主导 token 预算;故应按token 数均衡。其他维度:(a) 难度平衡——混合简单与困难样本(全简单学不到能力、全难学不稳);(b) 能力覆盖——确保关键能力(指令遵循、推理、代码、安全)都有足够样本;(c) 冲突处理——某些任务的风格冲突(如'简洁'与'详尽'),需权衡或加任务标识。评估——需逐任务评估(而非只看总体平均);并检查是否出现'某任务提升但另一任务下降'(跷跷板)。实践——工业界常用'温度采样 + 显式权重微调',并通过消融实验确定配比。
🏭 深度剖析与工业落地权衡
深度剖析与工程权衡:① '按 token 数均衡'比'按样本数均衡'更合理——因为梯度贡献与 token 数相关(每个 token 一个损失项);长回答的任务在 token 预算中占比更高。这是易被忽视的细节。② 温度采样的 α 选择——α 越小则越均衡(小任务权重越高);但 α 过小会让大任务(通常是通用能力)训练不足。故需在'均衡'与'不损害主力任务'间权衡(常取 0.5~0.7)。③ '跷跷板'现象——多任务学习中常见'此消彼长'(某任务提升伴随另一任务下降);成因是任务间的梯度冲突(见 M3 的梯度冲突题)或容量竞争。缓解:(a) 调整配比;(b) 梯度投影(PCGrad);(c) 用 MoE/适配器分离任务。④ 与'数据质量'的交互——低质量任务的样本即使量少也会损害(因为模型会学到其错误);故先保证每个任务的数据质量,再谈配比。⑤ 与 RLHF 的衔接——SFT 的配比决定'基础行为';RLHF 阶段可进一步用偏好数据调整(如对某任务给更高奖励权重)。故 SFT 配比不必完美,RLHF 可补偿。⑥ 面试要点——被问'多任务 SFT 怎么配比',应给出'温度采样(n^α)+ 显式权重 + 按 token 而非样本数均衡 + 难度/能力覆盖',并强调'逐任务评估、警惕跷跷板';能指出'按 token 均衡更合理'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
- ✕按样本数等权采样(忽略 token 数差异)
- ✕只看总体平均指标(掩盖任务间失衡)
🎯 面试官连环追问与延伸考察
- ?为什么按样本数等权采样不够?
- ?如何评估多任务平衡效果?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!