指令微调 SFT

SFT(Supervised Fine-Tuning, 指令微调)用高质量'指令-回答'监督数据微调预训练模型, 把底座从'续写文本'变成'遵循指令'。机制: 目标函数仍是交叉熵 $L = -\sum \log P(y|x)$, 但数据换成指令对; 一般只训练 1-3 个 epoch、学习率 1e-5 量级(远低于预训练), 数据按全局 batch 拼接。核心经验是'数据质量 > 数量': Alpaca 仅用 52K 条 GPT 生成指令数据即复现 ChatGPT 级指令遵循。

让通用模型具备对话/指令能力、领域化(医疗/法律/金融)微调、作为 RLHF 的初始策略。

预训练模型只会续写、不遵循指令。SFT 用几千到几万条高质量数据完成行为对齐, 效果远好于盲目堆量——epoch 超过 3 个会过拟合指令数据、损害通用能力(灾难性遗忘);相比预训练 1.4T tokens, SFT 数据量低约 7 个数量级(52K vs 1.4T), 训练成本骤降, 同时为 RLHF 提供良好初始策略。

SFT 与预训练的区别(数据、目标、epoch)?

为什么 SFT 数据质量 > 数量?

SFT 会过拟合吗? epoch 与学习率怎么选?

SFT 与 RLHF/DPO 的关系?

指令数据如何构造与过滤(人工/LLM 生成)?