Cohen's Kappa 标注一致性统计量

科恩卡帕系数 (Cohen's Kappa, $\kappa$) 是一种用于统计评估两位评估者（如 LLM 裁判与人类专家标注者，或两个不同大模型裁判）对同一组定性分类/打分项目进行标注时，扣除“由于随机偶然性碰巧产生的一致”之后的净一致性程度的统计学量化指标；其计算公式为 $\kappa = \frac{P_o - P_e}{1 - P_e}$，其中 $P_o$ 为两位评估者的实际观测一致率 (Observed Agreement)，$P_e$ 为假设两者完全独立随机标注时的期望偶然一致率 (Expected Chance Agreement)；$\kappa \in [-1, 1]$，$\kappa > 0.8$ 代表极高的一致性。

验证 LLM-as-a-Judge 能否安全替代人类专家、评估新评测指标与人类真实偏好的对齐度 (Human-LLM Alignment Validation)。

简单的表面重合准确率 (Accuracy) 会受到样本类别极度不平衡（如 90% 样本都是负例）的严重欺骗；Cohen's Kappa 剔除了随机猜中的虚假一致性，为大模型裁判体系提供了统计学上严密的置信度背书。

推导混淆矩阵下实际观测一致率 $P_o = \frac{a + d}{N}$ 与期望偶然一致率 $P_e = \frac{(a+b)(a+c) + (c+d)(b+d)}{N^2}$ 的数学公式？

Landis & Koch 标准解释表（$\kappa < 0.2$ 极差，0.41-0.60 中等，0.61-0.80 显著，0.81-1.00 近乎完美）在工业界上线 LLM 裁判的门限？

加权卡帕系数 (Weighted Kappa: Quadratic Weighted Kappa) 在处理有序多分类（如 1-5 分连续打分）时的距离惩罚机制？

什么是 Kappa 悖论 (Kappa Paradox: 高准确率但低 Kappa 值)？样本类别极度不均衡时如何分析该现象？

当评估者数量超过 2 位（如 5 位人类专家 + 1 个大模型）时，如何从 Cohen's Kappa 扩展到 Fleiss' Kappa 综合一致性？