Pairwise A/B 对比评估范式

成对对比评估范式 (Pairwise Evaluation / Head-to-Head Comparison) 是一种将两个不同候选模型对同一提问的回答（Model A vs Model B）隐去模型身份后并排呈现给裁判模型（或人类评审员），由裁判直接判别哪一个回答更加优秀、更符合事实或判定为平局 (Tie) 的评估范式；系统通过在海量 Prompt 集上统计胜率矩阵 (Win Rate Matrix) 或代入 Bradley-Terry 概率模型计算全局偏好排名。

模型版本 A/B 测试、大模型天梯排行榜 (LMSYS Chatbot Arena)、RLHF 偏好数据集构建 (DPO/PPO Preference Data)。

Pointwise 绝对打分容易因裁判模型的打分尺度漂移（如今天给 8 分明天给 7 分）产生高方差；人类和裁判模型对两个回答进行相对比较 (Relative Preference) 的敏锐度与一致性远高于给出孤立的绝对分数值，能够更精准捕捉细微的质量差距。

推导 Bradley-Terry 概率模型公式 $P(A > B) = \frac{e^{r_A}}{e^{r_A} + e^{r_B}}$ 如何将成对 A/B 比较胜率转换为全局能力潜变量得分？

为什么在 Pairwise 评估中，必须强制交换候选回答的呈现顺序（运行两轮：(A, B) 与 (B, A)）以消除位置偏置？

当遇到平局 (Tie: 两个模型表现均优秀或均糟糕) 时，平局判定的置信度门限与胜率统计处理方式？

Pairwise 评估在比较 $N$ 个候选模型时面临的 $O(N^2)$ 组合爆炸问题：如何通过瑞士轮 (Swiss-system) 或随机匹配减少评测轮次？

MT-Bench 基准测试中如何使用 Pairwise 对比评估多轮对话交互能力 (Multi-turn Conversation Capability)？