多分类 OvR/OvO/Softmax

把二分类器扩展到 $K$ 类有三种主流策略。OvR (一对余): 训练 $K$ 个“该类 vs 其余”的分类器, 预测取得分最高者, 参数量 $O(K \cdot d)$; OvO (一对一): 训练 $\binom{K}{2} = \frac{K(K-1)}{2}$ 个两两分类器, 投票裁决, 单模型更简单但总成本 $O(K^2)$; Softmax (直接多分类): 单个模型输出 $K$ 维概率 $p_i = \frac{e^{z_i/\tau}}{\sum_{j=1}^{K} e^{z_j/\tau}}$, 温度 $\tau$ 控制平滑度——$\tau \to 0$ 退化为 argmax, $\tau \to \infty$ 趋于均匀分布; 配合交叉熵损失梯度仍为 $p - y$ (Softmax 是多分类的 Logistic)。

面试常考三者对比 (模型数/参数量/表达能力)、温度 $\tau$ 在知识蒸馏与概率校准中的作用、OvR 得分为何不能当概率。

OvR 每类只拿“自己 vs 其余”训练, 类别不平衡严重且 $K$ 个分类器得分不可比 (需校准, 如 Platt scaling); OvO 在 $K$ 大时模型数随 $\binom{K}{2}$ 爆炸 ($K=100$ 要 4950 个模型), 且投票可能平票; Softmax 单模型端到端训练、天然输出合法概率, 但要求类别互斥 (非互斥任务用多个二分类)。温度 $\tau$ 额外提供分布塑形能力: 蒸馏时 $\tau > 1$ 软化标签传递暗知识, 推理用 $\tau = 1$; $\tau$ 也影响预测置信度与校准质量。

检验攻克程度：针对「多分类 OvR/OvO/Softmax」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。