M7-PB03PlaybookLLM 评估 · LLM evaluation

LLM 评估体系:从 rubric 到 LLM-as-judge

LLM evaluation: from rubrics to LLM-as-judge
🧭 Playbook 核心提示 / Actionable Calibration:

关键纪律:judge 本身必须被验证——用 200–500 条人工标注样本算 judge 与人的一致率(Cohen's κ 或 Spearman)。一致率低于 0.6 的 judge 不能用于上线决策。

嫌字多看太累?进入苏格拉底式对话推演实验室

零打字负担,以大厂考官真实困境切入,通过点选直觉选项暴露思维盲区,手把手推导 Why。

💬 开启对话式破冰 ➔
⚡
Test muscle memory on this topic via 3-Layer Flashcards
Active Recall: Mentally formulate Prompt ➔ Math Derivation ➔ Benchmark Implementation in 3 minutes.
🎯 Drill This Card Now➔