🏗️ 工业系统设计ID: recsys-offline-metrics

推荐离线指标 GAUC 与 NDCG

Q: 详细推导为什么 Global AUC 会被用户活跃度差异所混淆，并通过反例说明 Global AUC 升高但 GAUC 反而下降的现象？

【推荐离线指标 GAUC 与 NDCG 核心考点 1】详细推导为什么 Global AUC 会被用户活跃度差异所混淆，并通过反例说明 Global AUC 升高但 GAUC 反而下降的现象？。技术解析：定义: 推荐系统离线评估指标体系 (RecSys Offline Evaluation Metrics) 是一套在模型离线训练完成后、在线推全之前，全面量化模型排序能力、跨用户区分度与推荐质量的数学指标集合；两大核心黄金指标为：1) GAUC (Group Area Under ROC Curve，按用户分组加权 AUC)：\text{GAUC} = \frac{\sum_{u} w_u \cdot \text{AUC}_u}{\sum_{u} w_u}（w_u 通常为用户 u 的曝光展现量或点击量），衡量模型在每个独立用户内部的个性化排序能力；2) N... 完整推导与工程落地见：https://talentme.airsota.com/resources/tech/roadmap/mindmap/System_Design/card/recsys-offline-metrics

Q: 推导 NDCG@K、DCG@K 与理想排序 IDCG@K 的完整计算公式，并解释对数折损因子 $\log_2(i+1)$ 的位置心理学依据？

【推荐离线指标 GAUC 与 NDCG 核心考点 2】推导 NDCG@K、DCG@K 与理想排序 IDCG@K 的完整计算公式，并解释对数折损因子 $\log_2(i+1)$ 的位置心理学依据？。技术解析：定义: 推荐系统离线评估指标体系 (RecSys Offline Evaluation Metrics) 是一套在模型离线训练完成后、在线推全之前，全面量化模型排序能力、跨用户区分度与推荐质量的数学指标集合；两大核心黄金指标为：1) GAUC (Group Area Under ROC Curve，按用户分组加权 AUC)：\text{GAUC} = \frac{\sum_{u} w_u \cdot \text{AUC}_u}{\sum_{u} w_u}（w_u 通常为用户 u 的曝光展现量或点击量），衡量模型在每个独立用户内部的个性化排序能力；2) N... 完整推导与工程落地见：https://talentme.airsota.com/resources/tech/roadmap/mindmap/System_Design/card/recsys-offline-metrics

Q: 当用户在测试集中只有正样本（全点击）或只有负样本（全未点）时，计算 GAUC 时如何处理该用户的 $\text{AUC}_u$？

【推荐离线指标 GAUC 与 NDCG 核心考点 3】当用户在测试集中只有正样本（全点击）或只有负样本（全未点）时，计算 GAUC 时如何处理该用户的 $\text{AUC}_u$？。技术解析：定义: 推荐系统离线评估指标体系 (RecSys Offline Evaluation Metrics) 是一套在模型离线训练完成后、在线推全之前，全面量化模型排序能力、跨用户区分度与推荐质量的数学指标集合；两大核心黄金指标为：1) GAUC (Group Area Under ROC Curve，按用户分组加权 AUC)：\text{GAUC} = \frac{\sum_{u} w_u \cdot \text{AUC}_u}{\sum_{u} w_u}（w_u 通常为用户 u 的曝光展现量或点击量），衡量模型在每个独立用户内部的个性化排序能力；2) N... 完整推导与工程落地见：https://talentme.airsota.com/resources/tech/roadmap/mindmap/System_Design/card/recsys-offline-metrics

Q: MRR (Mean Reciprocal Rank) 与 MAP (Mean Average Precision) 在单正例与多正例推荐评测中的适用场景？

【推荐离线指标 GAUC 与 NDCG 核心考点 4】MRR (Mean Reciprocal Rank) 与 MAP (Mean Average Precision) 在单正例与多正例推荐评测中的适用场景？。技术解析：定义: 推荐系统离线评估指标体系 (RecSys Offline Evaluation Metrics) 是一套在模型离线训练完成后、在线推全之前，全面量化模型排序能力、跨用户区分度与推荐质量的数学指标集合；两大核心黄金指标为：1) GAUC (Group Area Under ROC Curve，按用户分组加权 AUC)：\text{GAUC} = \frac{\sum_{u} w_u \cdot \text{AUC}_u}{\sum_{u} w_u}（w_u 通常为用户 u 的曝光展现量或点击量），衡量模型在每个独立用户内部的个性化排序能力；2) N... 完整推导与工程落地见：https://talentme.airsota.com/resources/tech/roadmap/mindmap/System_Design/card/recsys-offline-metrics

Q: 为什么离线 GAUC 提升 0.5% (5 个千分点) 在工业界被视为极其显著的重大突破，能直接带来可观的在线商业收入增长？

【推荐离线指标 GAUC 与 NDCG 核心考点 5】为什么离线 GAUC 提升 0.5% (5 个千分点) 在工业界被视为极其显著的重大突破，能直接带来可观的在线商业收入增长？。技术解析：定义: 推荐系统离线评估指标体系 (RecSys Offline Evaluation Metrics) 是一套在模型离线训练完成后、在线推全之前，全面量化模型排序能力、跨用户区分度与推荐质量的数学指标集合；两大核心黄金指标为：1) GAUC (Group Area Under ROC Curve，按用户分组加权 AUC)：\text{GAUC} = \frac{\sum_{u} w_u \cdot \text{AUC}_u}{\sum_{u} w_u}（w_u 通常为用户 u 的曝光展现量或点击量），衡量模型在每个独立用户内部的个性化排序能力；2) N... 完整推导与工程落地见：https://talentme.airsota.com/resources/tech/roadmap/mindmap/System_Design/card/recsys-offline-metrics

RecSys Metrics: GAUC & NDCG

🎯核心定义

推荐系统离线评估指标体系 (RecSys Offline Evaluation Metrics) 是一套在模型离线训练完成后、在线推全之前，全面量化模型排序能力、跨用户区分度与推荐质量的数学指标集合；两大核心黄金指标为：1) GAUC (Group Area Under ROC Curve，按用户分组加权 AUC)：

\text{GAUC} = \frac{\sum_{u} w_u \cdot \text{AUC}_u}{\sum_{u} w_u}

（

w_u

通常为用户

u

的曝光展现量或点击量），衡量模型在每个独立用户内部的个性化排序能力；2) NDCG@K (Normalized Discounted Cumulative Gain)：

\text{NDCG@K} = \frac{\text{DCG@K}}{\text{IDCG@K}}

（其中

\text{DCG@K} = \sum_{i=1}^K \frac{2^{r_i} - 1}{\log_2(i + 1)}

），对排在前列的相关物品赋予更高的对数折损奖励权重。

💡使用场景

推荐与广告模型离线验证、模型超参数调优、各迭代版本 Checkpoint 的离线准入选拔。

⚡解决的核心痛点

全局朴素 AUC (Global AUC) 会受到活跃用户与冷门用户之间基准点击率差异的严重混淆（即便模型完全无法对某个用户的候选排序，仅凭对不同用户整体偏好的区分就能刷出虚高的高 AUC）；GAUC 彻底消除了跨用户 Bias，真实反映个性化排序效果。

🎯5 个高频面试考点 (Exam Points)

详细推导为什么 Global AUC 会被用户活跃度差异所混淆，并通过反例说明 Global AUC 升高但 GAUC 反而下降的现象？

推导 NDCG@K、DCG@K 与理想排序 IDCG@K 的完整计算公式，并解释对数折损因子

\log_2(i+1)

的位置心理学依据？

当用户在测试集中只有正样本（全点击）或只有负样本（全未点）时，计算 GAUC 时如何处理该用户的

\text{AUC}_u

？

MRR (Mean Reciprocal Rank) 与 MAP (Mean Average Precision) 在单正例与多正例推荐评测中的适用场景？

为什么离线 GAUC 提升 0.5% (5 个千分点) 在工业界被视为极其显著的重大突破，能直接带来可观的在线商业收入增长？

📖 关联深度指南:📄 recommendation-system-design →

更新于 2026-08-14

🎯

检验攻克程度：针对「推荐离线指标 GAUC 与 NDCG」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。

🚀 开始本考点专项刷题 ➔

← 上一个知识点重排多样性与行列式点过程 DPP 下一个知识点 →推荐在线 A/B 实验与 Interleaving

推荐离线指标 GAUC 与 NDCG

🔗 更多 工业系统设计 知识点卡片

🔗 更多工业系统设计知识点卡片