Generative Evaluation (FID / CLIP-Score): 解释 FID 的定义与局限。

Core Concept: FID 用真实与生成图像在 Inception 特征空间的高斯距离衡量质量；对特征分布假设与样本量敏感，且不测文本对齐。

数学机理：<strong>FID（Fréchet Inception Distance）</strong> 的定义——用预训练的 <strong>Inception 网络</strong>提取真实图像与生成图像的<strong>特征</strong>；假设两组特征都服从<strong>多元高斯分布</strong> N(μ_r,Σ_r) 与 N(μ_g,Σ_g)；用两者的 <strong>Fréchet 距离</strong>（也叫 2-Wasserstein 距离）衡量：FID=‖μ_r−μ_g‖²+Tr(Σ_r+Σ_g−2(Σ_rΣ_g)^{1/2})。<strong>直觉</strong>——(a) 第一项衡量'特征均值'的差异（生成图像的'平均外观'是否接近真实）；(b) 第二项衡量'协方差'的差异（多样性/特征相关性是否接近）；(c) FID 越小越好。<strong>局限</strong>——(1) <strong>高斯假设</strong>——特征分布<strong>未必</strong>是高斯的（可能多峰、重尾）；故 FID 只是近似（有工作提出用'最大均值差异 MMD'或'精度-召回'替代）。(2) <strong>对样本量敏感</strong>——(a) 样本少时均值/协方差估计不准 → FID 有<strong>偏</strong>（且<strong>低估</strong>）；(b) 不同样本量下的 FID <strong>不可比</strong>（故论文必须报告样本量）；(c) 常用 50k 样本（ImageNet 的标准）。(3) <strong>不测文本对齐</strong>——FID 只比较'图像分布'，<strong>不看 prompt</strong>；故'生成质量高但不符 prompt'的模型 FID 也可能很好；需 <strong>CLIP-score</strong> 等补充（见下一题）。(4) <strong>依赖 Inception 网络</strong>——(a) Inception 在 ImageNet 上训练，故对<strong>非自然图像</strong>（如人脸、艺术、医学）的特征可能不适（FID 不可靠）；(b) 不同版本的 Inception 给出不同 FID（不可比）。(5) <strong>对'过拟合/记忆'不敏感</strong>——若模型'复制训练集'，FID 可能很好（因为分布接近）；故需配合'记忆检测'。(6) <strong>单值掩盖细节</strong>——FID 是单一数字，掩盖了'哪方面差'（故需分维度/分区域评估）。<strong>改进/替代</strong>——(a) <strong>KID（Kernel Inception Distance）</strong>——用 MMD（无高斯假设、对样本量更鲁棒、无偏估计）；(b) <strong>Precision/Recall（或 Density/Coverage）</strong>——分别衡量'质量'（生成样本是否真实）与'多样性'（是否覆盖真实分布）；(c) <strong>CMMD</strong>（用 CLIP 特征 + MMD）；(d) <strong>FID 的多种变体</strong>（Clean-FID 解决预处理不一致的问题）。<strong>实践建议</strong>——(a) 报告<strong>样本量</strong>与<strong>Inception 版本</strong>（否则不可比）；(b) 用 <strong>KID / Precision-Recall</strong> 补充；(c) <strong>不要只看 FID</strong>（它不测文本对齐、不测记忆）；(d) 对非自然图像<strong>换特征提取器</strong>（如用 CLIP 特征）。<strong>度量</strong>——(a) FID/KID；(b) Precision/Recall；(c) CLIP-score；(d) 人工评估。

深度剖析与工程权衡：① <strong>'FID 只测图像分布、不测 prompt 对齐'是核心局限</strong>——故文本条件生成必须配合 CLIP-score；面试中能指出这一点是深度理解的标志。② <strong>'样本量敏感'是实践陷阱</strong>——不同论文用不同样本量，导致 FID 不可比；故必须报告样本量（Clean-FID 也解决预处理不一致）。③ <strong>'高斯假设'的理论局限</strong>——有更鲁棒的替代（KID/MMD）；故现代论文常同时报告 FID 与 KID。④ <strong>'Inception 特征不适于非自然图像'</strong>——人脸/艺术/医学图像上 FID 可能误导；故需换特征提取器。⑤ <strong>'FID 对记忆不敏感'</strong>——模型'复制训练集'也能得到好 FID；故需专门的记忆/污染检测。⑥ <strong>面试要点</strong>——被问'FID 的局限'，应给出'<strong>高斯假设 + 样本量敏感 + 不测文本对齐 + 依赖 Inception + 对记忆不敏感</strong>'与'<strong>改进（KID/Precision-Recall/CLIP-score/报告样本量）</strong>'；能指出'必须报告样本量与版本'是深度理解的标志。