M2-086M2: 经典机器学习评估指标与超参调优Easy
⚡闪卡盲测➔掌握度:
列举分类、回归、排序的常用评估指标
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
分类:Accuracy/P/R/F1/AUC/PR-AUC/LogLoss;回归:MSE/MAE/RMSE/R²/分位数损失;排序:NDCG/MRR/MAP/Recall@K。
📌 核心要点提炼
- •指标要与业务目标一致
- •不平衡看 PR-AUC;排序看 NDCG
📐 数学机理与严密推导
三类指标的要点:分类——① Accuracy:仅在类别平衡时有意义;② Precision/Recall:分别关注'预测为正的准确性'与'真实正类的覆盖率',需按业务取舍;③ F1:两者的调和平均(惩罚极端值,比算术平均更严格);④ AUC-ROC:阈值无关的排序质量,但在不平衡下过于乐观;⑤ PR-AUC:不平衡下更敏感;⑥ LogLoss(交叉熵):评估概率质量(proper scoring rule),对过度自信惩罚强。回归——① MSE/RMSE:对大误差敏感(平方),与高斯噪声假设对应;② MAE:对异常值鲁棒(线性),对应 Laplace 噪声;③ R²:1−SSE/SST,表示解释的方差比例,可为负(模型比'预测均值'还差);④ 分位数损失:预测分位数(如 P90 延迟)时使用;⑤ MAPE:相对误差,但对接近 0 的真值不稳定。排序——① Recall@K:top-K 中的相关项占比(召回视角);② MRR:第一个相关项排名的倒数均值(关注首位);③ NDCG@K:考虑相关性等级与位置折扣(最全面);④ MAP:平均精度(考虑所有相关项的位置)。
🏭 深度剖析与工业落地权衡
指标选择的实践要点:① 与业务目标对齐——这是第一原则:若业务关心'不漏掉任何欺诈',主指标应是 Recall(或固定 Precision 下的 Recall);若关心'推荐的点击率',用 CTR/AUC;若关心'用户找到东西的速度',用 MRR。② 不要用 accuracy 处理不平衡——多数类占比 99% 时全预测多数类就有 99% 准确率;改用 PR-AUC、F1、balanced accuracy 或 MCC。③ MSE vs MAE 的选择——MSE 对大误差敏感(适合'大误差代价高'的场景,如金融风险);MAE 对异常值鲁棒(适合数据含噪的场景);Huber 是折中。④ R² 的解读——R²<0 说明模型比'直接用均值预测'还差(严重欠拟合或数据划分问题);R² 随特征增加而虚高(需用调整 R²)。⑤ 排序指标的选择——若只关心首位(如自动补全)用 MRR;若关心整体排序质量用 NDCG;若关心覆盖用 Recall@K。⑥ 多指标报告——单一指标易被优化(Goodhart 定律),应同时报告多个指标 + 业务指标 + 护栏指标。
⚠️ 常见面试陷阱与高频失分点
- ✕在不平衡数据上用 accuracy 作为主指标
- ✕只看离线指标而不与业务目标对齐
🎯 面试官连环追问与延伸考察
- ?MAE 与 MSE 的取舍?
- ?为什么 R² 可能为负?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!