学习排序 (LTR): 比较 pointwise、pairwise、listwise 三种 LTR 方法。

Core Concept: pointwise 逐个打分（忽略顺序）、pairwise 优化样本对顺序、listwise 直接优化列表指标。

数学机理：<strong>三种方法的对比</strong>（详见 M3 的排序损失题）——(1) <strong>pointwise</strong>——把每个（查询，文档）对<strong>独立</strong>地当回归（预测相关性分）或分类（是否相关）；<strong>损失</strong>如 MSE/CE。<strong>局限</strong>——(a) <strong>忽略文档间关系</strong>（同一查询下的文档应'相对排序'，而 pointwise 只关心'绝对分数'）；(b) <strong>目标与排序指标不一致</strong>（回归误差小 ≠ 排序好）；(c) <strong>正负样本不平衡</strong>（相关文档远少于不相关）。(2) <strong>pairwise</strong>——对<strong>文档对</strong>（正，负）施加'正应排在负之前'的约束；<strong>损失</strong>如 hinge（Ranking SVM）或 logistic（RankNet：−log σ(s₊−s₋)）。<strong>优点</strong>——(a) 优化'相对顺序'（与排序目标一致）；(b) 数学上等价于'优化 AUC 的可微代理'。<strong>局限</strong>——(a) 训练量 ∝ 文档对数（需采样）；(b) 所有'对'权重相同（不区分'重要的对'）；(c) 忽略'整个列表'的结构。(3) <strong>listwise</strong>——直接优化<strong>整个列表</strong>的排序质量；<strong>方法</strong>——(a) <strong>ListNet/ListMLE</strong>——用 softmax 把分数转成分布、与目标分布算 CE；(b) <strong>LambdaRank/LambdaMART</strong>——用 <strong>λ 梯度</strong>：∂C/∂s_i=−Σ_j |ΔNDCG_ij|·(1/(1+e^{s_i−s_j}))，其中 <strong>|ΔNDCG_ij|</strong> 是'交换 i 与 j 后 NDCG 的变化量'；这把<strong>不可微的 NDCG</strong> 嵌入梯度权重（'对指标影响大的对'获得更大梯度）。<strong>优点</strong>——(a) <strong>直接对齐排序指标</strong>；(b) 能'聚焦重要的对'（通过 |ΔNDCG|）。<strong>局限</strong>——(a) 计算复杂（需算 |ΔNDCG|）；(b) 实现更复杂。<strong>选择依据</strong>——(a) <strong>需要分数校准</strong>（如 CTR 预估需真实概率）→ pointwise；(b) <strong>纯排序</strong>（搜索/推荐列表）→ pairwise 或 listwise；(c) <strong>实践主流</strong> → <strong>LambdaMART（listwise 思想 + GBDT）</strong>——它在多个 LTR 基准上长期领先；(d) <strong>神经网络排序</strong> → pairwise（易实现）或 listwise（更强）。<strong>与其他问题的关系</strong>——(a) 与'损失-指标错配'（M3 题）同源；(b) 与'位置偏置'（训练数据的偏置）相关。<strong>实践建议</strong>——(a) <strong>起点用 pairwise</strong>（简单有效）；(b) <strong>追求指标对齐用 listwise/LambdaMART</strong>；(c) <strong>需要概率校准用 pointwise</strong>；(d) <strong>评估用排序指标</strong>（NDCG/MRR，而非回归误差）。<strong>度量</strong>——(a) NDCG/MRR/MAP；(b) 训练效率；(c) 实现的复杂度。

深度剖析与工程权衡：① <strong>'pointwise 忽略文档间关系'是它的根本局限</strong>——面试中能指出这一点是深度理解的标志。② <strong>'pairwise 等价 AUC 代理'</strong>——这解释了为什么 pairwise 在排序任务上优于 pointwise。③ <strong>'listwise 用 |ΔNDCG| 加权'是关键技巧</strong>——它把不可微的指标嵌入梯度；这是 LambdaRank 的核心贡献。④ <strong>'LambdaMART 是实践主流'</strong>——listwise 思想 + GBDT 的强组合；在工业界广泛使用。⑤ <strong>'需要校准则用 pointwise'</strong>——如广告 CTR 预估需要真实概率（而非仅排序）；这是 pointwise 的适用场景。⑥ <strong>面试要点</strong>——被问'三种 LTR 的区别'，应给出'<strong>pointwise（逐个打分，忽略顺序）/ pairwise（优化对顺序，AUC 代理）/ listwise（优化列表指标，λ 梯度）</strong>'与'<strong>按是否需要校准/对齐指标选择</strong>'；能写出 λ 梯度公式是深度理解的标志。