Krippendorff's Alpha 多标注者信度

克里彭多夫 Alpha 系数 (Krippendorff's Alpha, $\alpha$) 是一种通用于评估任意数量评估者（无论评估者数量多少）、在允许存在数据缺失值 (Missing Data) 以及支持任意度量尺度（定类 Nominal、定序 Ordinal、定距 Interval、定比 Ratio）下的跨标注者信度统计量；其公式统一表达为 $\alpha = 1 - \frac{D_o}{D_e}$，其中 $D_o$ 为观测到的分歧度 (Observed Disagreement)，$D_e$ 为偶然期望分歧度 (Expected Disagreement)；$\alpha = 1$ 代表完全一致，$\alpha = 0$ 代表纯随机，$\alpha < 0$ 代表系统性反向分歧。

包含缺失标注的大规模多模型/多人混合评测基准、跨连续数值与分类混合的复杂 LLM 输出质量审计。

Cohen's Kappa 仅限 2 位评估者且不能有缺失值，Fleiss' Kappa 仅限名义定类变量；Krippendorff's Alpha 彻底统一了异构尺度与不完整标注矩阵，是大规模实证评估的最高统计学规范。

详细推导 Krippendorff's Alpha 在定距尺度 (Interval Metric: $d(v, c) = (v - c)^2$) 下的分歧度计算公式？

Krippendorff's Alpha 如何优雅处理稀疏标注矩阵（即并非每个样本都被所有评审员打分）中的缺失值？

学术界与工业界通用的信度判定准则（$\alpha \ge 0.800$ 结论高度可信，$\alpha \ge 0.667$ 可得出初步暂定结论）的严谨性分析？

对比 Krippendorff's Alpha 与 Fleiss' Kappa 在处理极端样本量与多标注者方差波动时的稳健性差异？

在大模型微调 RLHF 数据集质检中，如何基于 Alpha 系数自动剔除打分方差过大的低质量标注工（Spammer Detection）？