M1-PB06Playbook指标陷阱 · Metric traps

Goodhart 与抗操纵:让指标不能被“刷”

Goodhart and anti-gaming: making a metric hard to inflate
🧭 Playbook 核心提示 / Actionable Calibration:

三道防线: 配对指标(paired metric):任何可被“作弊式提升”的指标,都配一个反向的、作弊时会恶化的指标。 比率化:把绝对量改成“好/坏”比值,操纵一端会同时推高另一端。 抽样人工审核:对质量类指标保留 1–5% 的人工/LLM 评审,作为“地面真值”锚点。

嫌字多看太累?进入苏格拉底式对话推演实验室

零打字负担,以大厂考官真实困境切入,通过点选直觉选项暴露思维盲区,手把手推导 Why。

💬 开启对话式破冰 ➔
⚡
Test muscle memory on this topic via 3-Layer Flashcards
Active Recall: Mentally formulate Prompt ➔ Math Derivation ➔ Benchmark Implementation in 3 minutes.
🎯 Drill This Card Now➔