Generative Evaluation (FID / CLIP-Score): 解释人类偏好在生成评估中的地位与方法。

Core Concept: 人类偏好是黄金标准；通过成对比较（Elo/Bradley-Terry）或打分收集，成本高但是最终裁决；LLM/VLM-judge 可扩展但需校准。

数学机理：<strong>人类偏好的地位</strong>——自动指标（FID/CLIP-score）只测'可计算'的维度（分布、语义对齐）；但生成的<strong>真实质量</strong>（美观度、合理性、有用性、是否有伪影）常需<strong>人类判断</strong>；故人类偏好是<strong>黄金标准（gold standard）</strong>。<strong>收集方法</strong>——(1) <strong>成对比较（pairwise comparison）</strong>——给人类看两张图（或两个回答），选'更好的'；<strong>优点</strong>——(a) 人类更擅长'比较'而非'打绝对分'；(b) 结果可用 <strong>Bradley-Terry 模型</strong>转换为'能力分数'（Elo 类似）；(c) 减少'尺度漂移'（不同人的 7 分含义不同）；<strong>缺点</strong>——需 O(N²) 次比较（N 个模型）或'与基准比'（减少到 O(N)）。(2) <strong>绝对打分（Likert 量表）</strong>——给 1~5 分；<strong>优点</strong>——便宜（每人评多个）；<strong>缺点</strong>——尺度不一致、主观。(3) <strong>成对比较 + Elo 排名</strong>（如 Chatbot Arena 的做法）——用<strong>在线对战</strong>收集大量成对比较，用 Elo/BT 排名模型；<strong>优点</strong>——可扩展（众包）、难被'刷'（因为对手未知）；<strong>缺点</strong>——需大量样本才能区分相近模型。(4) <strong>专家评估</strong>——领域专家（如艺术家、医生）评估；<strong>优点</strong>——最可靠（尤其专业任务）；<strong>缺点</strong>——最贵。(5) <strong>自动 judge（LLM/VLM-as-judge）</strong>——用强模型（GPT-4V）判断'哪张图更好/是否符合 prompt'；<strong>优点</strong>——可扩展、便宜；<strong>缺点</strong>——有偏置（偏好特定风格、位置偏差），需<strong>人工校准</strong>（用人工标注的小样本验证 judge 与人类判断的相关性）。<strong>混合策略（最佳实践）</strong>——(a) <strong>自动指标做快速回归</strong>（FID/CLIP-score，每次改动都跑）；(b) <strong>自动 judge 做中等规模评估</strong>（需校准）；(c) <strong>人类偏好做关键决策</strong>（发布前的最终评估、judge 的校准）；(d) <strong>成对比较</strong>优于绝对打分。<strong>评估的纪律</strong>——(a) <strong>报告样本量与评估协议</strong>（否则不可比）；(b) <strong>多种子/多 prompt</strong>（单次结果有方差）；(c) <strong>统计显著性</strong>（成对比较可用 BT 的置信区间）；(d) <strong>与人类判断校准</strong>（自动指标的可信度需验证）。<strong>成本与收益</strong>——人类评估贵（每人每小时的成本）；故 (a) 用<strong>少量高质量</strong>的人工评估校准自动指标、(b) 用<strong>众包</strong>扩大规模（但需质量控制）、(c) 用<strong>AI 辅助</strong>（让 AI 先筛、人工复核）。<strong>实证</strong>——(a) 图像生成领域：ImageReward/HPS（用人类偏好训练的评分模型）与人类判断相关性高；(b) 视频/3D：人类评估仍是主要方法（因为自动指标不成熟）。

深度剖析与工程权衡：① <strong>'成对比较优于绝对打分'是评估设计的核心经验</strong>——人类更擅长比较；且 BT 模型能把比较转为分数（可统计）。② <strong>'自动 judge 需人工校准'</strong>——不校准的自动 judge 可能系统性偏离人类；故必须用人工小样本验证相关性。③ <strong>'成本-可靠性的分层'</strong>——自动指标（便宜、粗糙）→ 自动 judge（中等）→ 人类（贵、可靠）；应按决策重要性选择。④ <strong>'众包的质量控制'</strong>——众包可扩展但质量参差；需 (a) 明确的标注指南、(b) 一致性检查、(c) 金标准题筛人。⑤ <strong>'人类偏好训练的评分模型'</strong>（ImageReward/HPS）是实用的中间方案——比 CLIP-score 更接近人类，比人工更便宜。⑥ <strong>面试要点</strong>——被问'怎么评估生成质量'，应给出'<strong>人类偏好是黄金标准 + 成对比较（→BT/Elo）+ 自动 judge（需校准）+ 分层策略（自动回归/自动 judge/人工决策）</strong>'；能指出'成对比较优于绝对打分'与'必须校准'是深度理解的标志。