返回 DS 数据科学家 思维导图
中文·English
📈 DS 数据科学家ID: ds-qini-curve-auuc-uplift-metrics

Qini 曲线、AUUC 评估与增益标定

Qini Curve, AUUC & Uplift Evaluation
🎯核心定义
增益模型 (Uplift Model) 离线评估指标体系(Qini 曲线、Qini 分数、AUUC - Area Under Uplift Curve 与 Cumulative Gain 曲线)是数据科学家解决“由于单一个体反事实不可观测,无法像常规分类模型那样直接计算 Accuracy/AUC/LogLoss”的核心评估标准;Qini 曲线绘制步骤:1) 模型打分排序:根据 Uplift 模型预测的增益得分 τ^(x)\hat{\tau}(x) 对测试集用户降序排列;2) 累积计算:取排名前 k%k\% 的人群,分别统计该人群中实验组正例数 nt,1(k)n_{t, 1}(k) 与对照组正例数 nc,1(k)n_{c, 1}(k);3) Qini 增益公式:Q(k)=nt,1(k)Nt(k)Nc(k)nc,1(k)Q(k) = n_{t, 1}(k) - \frac{N_t(k)}{N_c(k)} n_{c, 1}(k)(度量若对前 kk 人群施加干预,相比不干预能多获得的纯因果净增量正例转化数);4) AUUC / Qini 曲线与随机基线(连接原点与终点的对角直线)构成的净增益面积;Qini 分数越高,说明模型越能将高增益敏感人群排在头部。
💡使用场景
离线 Uplift 算法模型横向选型对比、营销触达预算截断阈值选取、增益模型收益精确标定。
解决的核心痛点
无法直接用真实标签评估 ITE 预测质量;Qini 与 AUUC 从人群统计层面提供了客观、无偏且直接对齐商业净收益的评估曲面。
🎯5 个高频面试考点 (Exam Points)
1
写出计算累积 Qini 曲线的数学公式 Q(k)=Yt(k)Nt(k)Nc(k)Yc(k)Q(k) = Y_{t}(k) - \frac{N_t(k)}{N_c(k)} Y_{c}(k),并说明为什么需要乘以样本量缩放因子 Nt(k)Nc(k)\frac{N_t(k)}{N_c(k)}
2
详细对比 Qini 曲线与 AUUC (Cumulative Uplift Curve) 在纵坐标定义与归一化方式上的数学差异?
3
随机基线 (Random Baseline) 与理想最优基线 (Oracle Upper Bound): 如何在 Qini 曲线图中绘制随机分流的对角线与理论完美的最高收益天花板?
4
Decile Uplift 分组增益柱状图 (Lift by Decile Chart): 为什么一个优秀 Uplift 模型的 Decile 柱状图必须呈现严格的“从左到右单调递减”分布?
5
校准性评估 (Uplift Calibration): 如何检验模型预测的增益值 τ^(X)=0.05\hat{\tau}(X) = 0.05 与实际 A/B 测试观测到的分组真实增益 (pTpC)(p_T - p_C) 是否精准吻合?
📖 关联深度指南:📄 ds-core-cheatsheet
更新于 2026-08-14
🎯
检验攻克程度:针对「Qini 曲线、AUUC 评估与增益标定」专属刷题排雷
做单选排雷题、推导选项机制,答错自动收录进专属错题本。
🚀 开始本考点专项刷题
上一个知识点因果森林 Causal Forest 与 CATE 估计下一个知识点元学习器 S/T/X-Learner 算法对比

🔗 更多 DS 数据科学家 知识点卡片

假设检验、两类错误与功效权衡样本量公式严格推导与 MDE 估算P-hacking 偷窥与序贯检验 mSPRT多重比较校正:Bonferroni vs FDR