LLM Evaluation Benchmarks: 比较 LLM 评估的几类方法：指标、LLM-judge、人工。

Core Concept: 自动指标便宜但粗糙；LLM-judge 可扩展但需防偏；人工最可靠但贵慢；三者应组合并交叉验证。

数学机理：<strong>三类方法的定位</strong>。<strong>(1) 自动指标</strong>——(a) <strong>精确匹配/准确率</strong>（选择题、抽取式问答）——客观、可复现，但只适用'有唯一答案'的任务；(b) <strong>BLEU/ROUGE</strong>（n-gram 重叠）——便宜、快速，但<strong>只衡量表面重叠</strong>，与人类判断相关性弱（尤其对'语义等价但措辞不同'的回答会低估）；(c) <strong>困惑度（PPL）</strong>——衡量语言建模，不衡量'回答质量'；(d) <strong>BERTScore / 语义相似度</strong>——比 n-gram 好但仍有限。<strong>适用</strong>——分类、检索、结构化任务的自动指标可靠；<strong>开放式生成（对话、写作、总结）的自动指标不可靠</strong>。<strong>(2) LLM-as-a-Judge</strong>——用强 LLM 给回答打分/比较。<strong>优点</strong>——(a) <strong>可扩展</strong>（比人工快几个数量级）；(b) <strong>灵活</strong>（可评'有用性/忠实度/风格'等主观维度）；(c) 与人类判断的相关性较高（在多数基准上 >80%）。<strong>缺点/偏差</strong>——(a) <strong>位置偏差</strong>（倾向选先出现的选项）→ 随机化顺序或双向评估；(b) <strong>长度偏差</strong>（倾向更长的回答）→ 控制长度或明确指示；(c) <strong>自我偏好（self-preference）</strong>——LLM 倾向给自己（或同家族模型）的输出更高分 → 用不同家族的模型评判；(d) <strong>权威/风格偏差</strong>（偏好自信、格式化的回答）；(e) <strong>不一致</strong>（同一输入的多次评分可能不同）→ 多次采样取平均。<strong>(3) 人工评估</strong>——<strong>金标准</strong>。<strong>优点</strong>——最可靠、可捕捉细微差别。<strong>缺点</strong>——(a) 贵、慢（无法大规模）；(b) <strong>一致性</strong>需控制（标注指南、多标注者、一致性检验）；(c) 标注者能力参差。<strong>组合策略（最佳实践）</strong>——(a) <strong>自动指标做快速回归</strong>（每次改动都跑）；(b) <strong>LLM-judge 做中等规模的详细评估</strong>（需校准与去偏）；(c) <strong>人工做关键决策</strong>（如发布前的最终评估、LLM-judge 的校准）。<strong>交叉验证</strong>——用人工标注的小样本校准 LLM-judge，确认其与人类判断的相关性足够高后再大规模使用。

深度剖析与工程权衡：① <strong>'BLEU/ROUGE 不适合评 LLM'是重要认知</strong>——它们只衡量表面重叠，会低估'措辞不同但更好'的回答、高估'措辞相似但错误'的回答；故开放式生成应用 LLM-judge 或人工。② <strong>'LLM-judge 必须校准'</strong>——直接相信 LLM 评分会引入系统偏差；规范做法是 (a) 用人工标注的小样本验证相关性、(b) 报告 judge 的准确率、(c) 用多个 judge 投票。③ <strong>'自我偏好'是隐蔽的偏差</strong>——用 GPT-4 评判 GPT-4 的输出会有利；故应<strong>用不同家族的模型评判</strong>（如用 Claude 评判 GPT 的输出），或混合多模型。④ <strong>'位置偏差'的量化与修正</strong>——研究表明 LLM 对'第一个选项'有偏好（可达 10%+）；修正方法是<strong>交换顺序各评一次</strong>（若两次结论一致才算稳定）。⑤ <strong>'评估的成本'</strong>——LLM-judge 的成本可能超过被评估模型本身（若用强模型评判）；故需权衡（如用中等模型评判 + 人工抽检）。⑥ <strong>面试要点</strong>——被问'怎么评估 LLM'，应给出'<strong>三类方法（自动指标/LLM-judge/人工）的定位与优劣 + 组合策略（自动做回归、judge 做规模、人工做决策）+ judge 的四类偏差与修正</strong>'；能指出'BLEU 不适合评 LLM'与'自我偏好需用不同家族模型'是深度理解的标志。