M7-PB03PlaybookLLM 评估 · LLM evaluation

LLM 评估体系:从 rubric 到 LLM-as-judge

LLM evaluation: from rubrics to LLM-as-judge
🧭 Playbook 核心提示 / Actionable Calibration:

关键纪律:judge 本身必须被验证——用 200–500 条人工标注样本算 judge 与人的一致率(Cohen's κ 或 Spearman)。一致率低于 0.6 的 judge 不能用于上线决策。

嫌字多看太累?进入苏格拉底式对话推演实验室

零打字负担,以大厂考官真实困境切入,通过点选直觉选项暴露思维盲区,手把手推导 Why。

💬 开启对话式破冰 ➔
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔