🤖 AI 应用工程ID:
krippendorffs-alphaKrippendorff's Alpha 多标注者信度
Krippendorff's Alpha
🎯核心定义
克里彭多夫 Alpha 系数 (Krippendorff's Alpha, ) 是一种通用于评估任意数量评估者（无论评估者数量多少）、在允许存在数据缺失值 (Missing Data) 以及支持任意度量尺度（定类 Nominal、定序 Ordinal、定距 Interval、定比 Ratio）下的跨标注者信度统计量；其公式统一表达为 ，其中 为观测到的分歧度 (Observed Disagreement)， 为偶然期望分歧度 (Expected Disagreement)； 代表完全一致， 代表纯随机， 代表系统性反向分歧。
💡使用场景
包含缺失标注的大规模多模型/多人混合评测基准、跨连续数值与分类混合的复杂 LLM 输出质量审计。
⚡解决的核心痛点
Cohen's Kappa 仅限 2 位评估者且不能有缺失值，Fleiss' Kappa 仅限名义定类变量；Krippendorff's Alpha 彻底统一了异构尺度与不完整标注矩阵，是大规模实证评估的最高统计学规范。
🎯5 个高频面试考点 (Exam Points)
1
详细推导 Krippendorff's Alpha 在定距尺度 (Interval Metric: ) 下的分歧度计算公式？
2
Krippendorff's Alpha 如何优雅处理稀疏标注矩阵（即并非每个样本都被所有评审员打分）中的缺失值？
3
学术界与工业界通用的信度判定准则（ 结论高度可信， 可得出初步暂定结论）的严谨性分析？
4
对比 Krippendorff's Alpha 与 Fleiss' Kappa 在处理极端样本量与多标注者方差波动时的稳健性差异？
5
在大模型微调 RLHF 数据集质检中，如何基于 Alpha 系数自动剔除打分方差过大的低质量标注工（Spammer Detection）？
📖 关联深度指南:📄 llm-as-a-judge →
更新于 2026-08-14🎯
🚀 开始本考点专项刷题 ➔检验攻克程度：针对「Krippendorff's Alpha 多标注者信度」专属刷题排雷
做单选排雷题、推导选项机制，答错自动收录进专属错题本。