Generative Evaluation (FID / CLIP-Score): 解释 CLIP-score 与它的偏置。

Core Concept: CLIP-score 用 CLIP 计算生成图与 prompt 的相似度，衡量'文本对齐'；但它有'偏好特定风格'的偏置，且不能测真实感。

数学机理：<strong>CLIP-score</strong> 的定义——用 CLIP 的图像编码器与文本编码器分别编码生成图 x 与 prompt c，计算<strong>余弦相似度</strong>（或乘以 CLIP 的 logit scale）；对多个样本取平均即 CLIP-score。<strong>作用</strong>——衡量'生成图与 prompt 的<strong>语义对齐</strong>'（'画的是不是 prompt 说的'）；这是 FID <strong>不能</strong>测的维度（FID 只看图像分布）。<strong>与 FID 的互补</strong>——(a) <strong>FID</strong>——'生成的图像是否像真实图像'（质量 + 多样性）；(b) <strong>CLIP-score</strong>——'生成的图像是否符合 prompt'（对齐）；两者<strong>需同时报告</strong>（因为存在'质量高但不对齐'与'对齐但质量差'两种失败）。(c) 也有'FID-CLIP 权衡'的观察（优化一个可能损害另一个）。<strong>偏置</strong>——(1) <strong>风格偏置</strong>——CLIP 是在<strong>网络图文对</strong>上训练的，故它偏好'<strong>照片写实、简洁、主体突出</strong>'的图像；故 CLIP-score 会<strong>奖励</strong>这类风格（即使 prompt 要求其他风格）；(2) <strong>对'抽象/艺术'不敏感</strong>——CLIP 对'抽象画、超现实'的语义判断较弱；(3) <strong>对'文本渲染'无效</strong>——CLIP 不'读'图中的文字（见 CLIP 局限题）；故对'生成文字'的任务 CLIP-score 不可用；(4) <strong>对'关系/组合'不敏感</strong>——CLIP 的组合性弱（Winoground 上接近随机）；故'红色方块在蓝色圆上'这类关系 CLIP-score 难以区分；(5) <strong>可被'刷分'</strong>——模型可学会生成'CLIP 喜欢'的图像（如加特定风格）而不真正对齐 prompt。<strong>缓解/替代</strong>——(a) <strong>用多个 CLIP 变体</strong>（不同训练数据的 CLIP，取平均）；(b) <strong>用更强的多模态模型</strong>（如用 VLM 判断对齐，或专门的'图像-文本对齐'模型）；(c) <strong>ImageReward / HPS（Human Preference Score）</strong>——用人类偏好数据训练的评分模型（比 CLIP-score 更接近人类判断）；(d) <strong>人工评估</strong>（黄金标准）；(e) <strong>任务特化的评估</strong>（如文字渲染用 OCR 准确率、关系用专门基准）。<strong>实践建议</strong>——(a) <strong>同时报告 FID + CLIP-score</strong>（覆盖'质量'与'对齐'）；(b) <strong>注意 CLIP-score 的风格偏置</strong>（不要用它判断'艺术风格'的好坏）；(c) 对'关系/文字'任务<strong>换评估方法</strong>；(d) 用<strong>人类偏好模型</strong>（ImageReward/HPS）补充；(e) <strong>人工抽检</strong>（最终裁决）。<strong>度量</strong>——(a) CLIP-score；(b) ImageReward / HPS；(c) 人工评分；(d) 任务特化指标（OCR、关系基准）。

深度剖析与工程权衡：① <strong>'CLIP-score 测对齐、FID 测分布'是互补关系</strong>——两者都需报告；面试中能指出这一点是深度理解的标志。② <strong>'风格偏置'是 CLIP-score 的主要问题</strong>——它偏好照片写实，故对艺术/抽象风格不公；故不应单靠它评估'风格多样性'。③ <strong>'可被刷分'</strong>——模型可学会'讨好 CLIP'（加风格）而非真正对齐；故需人类偏好模型或人工评估补充。④ <strong>'对人类偏好模型（ImageReward/HPS）的依赖'</strong>——它们用人类偏好数据训练，比 CLIP-score 更接近人类判断；但仍有偏置（取决于偏好数据的分布）。⑤ <strong>'任务特化评估'的必要性</strong>——文字渲染用 OCR、关系用专门基准；通用指标会失效。⑥ <strong>面试要点</strong>——被问'CLIP-score 有什么问题'，应给出'<strong>风格偏置（偏好照片写实）+ 对抽象/文字/关系不敏感 + 可被刷分</strong>'与'<strong>缓解（多 CLIP 变体 / 人类偏好模型 / 任务特化 / 人工）</strong>'；能指出'FID 与 CLIP-score 互补、需同时报告'是深度理解的标志。