MRR 与 GAUC

两个工业级排序/推荐指标。平均倒数排名 $MRR = \frac{1}{|Q|} \sum_{q \in Q} \frac{1}{rank_q}$, 其中 $rank_q$ 是 query $q$ 结果列表中第一个相关条目的位置, 无相关结果时该项贡献 0; MRR 范围 $(0, 1]$。数值例: 3 个 query 的首个相关分别在第 1、3、5 位, 则 $MRR = \frac{1}{3}(1 + \frac{1}{3} + \frac{1}{5}) = \frac{1}{3} \times 1.533 \approx 0.511$。

GAUC (Group AUC): 对每个用户单独计算 AUC, 再按用户样本量加权平均, $GAUC = \frac{\sum_u w_u \cdot AUC_u}{\sum_u w_u}$, 通常 $w_u$ 取用户 $u$ 的曝光/样本条数。数值例: 用户 A 有 80 条样本、$AUC_A = 0.7$, 用户 B 有 20 条样本、$AUC_B = 0.6$, 则 $GAUC = \frac{80 \times 0.7 + 20 \times 0.6}{100} = \frac{56 + 12}{100} = 0.68$, 而两个用户的简单平均只有 $(0.7 + 0.6)/2 = 0.65$。

搜索/问答/知识库检索的“首个命中”评估用 MRR; 推荐系统精排 (阿里 DIN 论文) 用 GAUC 评估用户级排序质量; 面试常追问二者的区别、手算与工业选型。

MRR 只关心第一个相关结果的位置——搜索场景用户几乎只看第一屏, 多个相关结果与后续位置的细节不重要, MRR 把注意力集中在“第一个命中够不够快”; 全局 AUC 在推荐场景被头部活跃用户主导 (用户分布头重脚轻), 少数大用户的排序好就能拉高全局 AUC, 掩盖大多数用户的体验问题; GAUC 在用户粒度上评估并把每人的贡献按样本量加权, 更贴近“每人一个模型”的个性化视角, 对长尾用户更公平。

手算 MRR: 3 个 query 的首个相关位置为 1、3、5, 求 MRR; 无相关结果的 query 贡献多少?

MRR 与 NDCG 的区别: 为什么 MRR 只看首个相关位置, 与“搜索用户只看第一屏”有什么关系?

为什么推荐场景用 GAUC 而不是全局 AUC? 用户分布头重脚轻如何误导全局 AUC?

手算 GAUC: 用户 A 80 条样本 AUC 0.7, 用户 B 20 条样本 AUC 0.6, 求 GAUC 并说明与简单平均的差异?

工业排序评估如何选型: 召回阶段、精排阶段各用什么指标? 为什么 DIN 论文用 GAUC?