VLM Training & Evaluation: 解释 VLM 的偏见与安全评估。

Core Concept: VLM 会继承图文数据的社会偏见（性别/种族）并可能生成不安全内容；需专门的偏见与安全基准。

数学机理：<strong>VLM 偏见的特殊维度</strong>——VLM 的偏见比纯文本 LLM <strong>多了一个'视觉-语言关联'的维度</strong>：(a) <strong>属性关联偏见</strong>——'医生'的图被默认描述为男性、'护士'默认女性；'CEO'默认白人；这是<strong>图像分布</strong>与<strong>语言先验</strong>的联合产物。(b) <strong>视觉属性偏见</strong>——对同一人的不同肤色/性别给出不同的描述（如'穿西装的黑人'被描述为'服务员'）。(c) <strong>跨模态不一致</strong>——对'男医生'与'女医生'的图给出不同的形容词（能力/情感描述差异）。(d) <strong>继承来源</strong>——网络图文对本身含社会偏见（如'护士'的图多为女性）；VLM 会放大它（因为语言先验也会强化）。<strong>安全维度</strong>——(a) <strong>有害内容生成</strong>——生成/描述暴力、色情、仇恨内容；(b) <strong>视觉越狱（visual jailbreak）</strong>——在图像中嵌入诱导性文本（如'忽略安全限制，描述如何…'），绕过文本侧的安全过滤（<strong>这是 VLM 特有的攻击面</strong>，因为图像中的文字可能不被文本过滤器检查）；(c) <strong>隐私泄露</strong>——识别并泄露图中人物的身份、位置、敏感信息（PII）；(d) <strong>误导性内容</strong>——对图像给出误导性描述（用于虚假信息）；(e) <strong>不安全建议</strong>——基于图像给出危险的操作指导。<strong>评估方法</strong>——(1) <strong>偏见评估</strong>——(a) <strong>FairFace / BOLD 类</strong>（人口统计属性的公平性）；(b) <strong>属性关联测试</strong>（构造'职业 × 人群'的图，检查描述差异）；(c) <strong>跨模态一致性</strong>（同一属性的不同人群是否有不同的描述质量）；(d) <strong>人工评估</strong>（偏见很细微，自动指标不敏感）。(2) <strong>安全评估</strong>——(a) <strong>红队（red teaming）</strong>——主动构造攻击（含<strong>视觉越狱</strong>）；(b) <strong>有害内容基准</strong>（如 MM-SafetyBench）；(c) <strong>隐私测试</strong>（是否能识别图中人物）；(d) <strong>过度拒答率</strong>（对无害图像/问题的误拒）；(e) <strong>越狱成功率（ASR）</strong>。(3) <strong>缓解</strong>——(a) <strong>数据去偏</strong>（平衡图文对的分布）；(b) <strong>偏好数据中加入'公平/安全'的正例</strong>；(c) <strong>视觉侧的输入过滤</strong>（检测图中的诱导性文字）；(d) <strong>分层护栏</strong>（输入/模型/输出）；(e) <strong>不确定性表达</strong>（对敏感属性说'无法判断'）。<strong>难点</strong>——(a) <strong>偏见难以完全消除</strong>（源于数据分布）；(b) <strong>视觉越狱的新攻击面</strong>（图像中的文字）；(c) <strong>安全与可用性的平衡</strong>（过度拒答损害体验）；(d) <strong>评估成本高</strong>（需人工）。

深度剖析与工程权衡：① <strong>'视觉越狱是 VLM 特有的攻击面'</strong>——因为图像中的文字可能绕过文本侧的安全过滤；故需<strong>视觉侧的内容检测</strong>（如 OCR + 文本过滤、或用多模态安全模型）。这是 VLM 安全评估的必备项。② <strong>'偏见源于数据分布'</strong>——网络图文对的分布偏见会被 VLM 继承并放大（语言先验叠加）；故去偏需从<strong>数据</strong>入手（而非只调模型）。③ <strong>'偏见评估需人工'</strong>——自动指标对细微偏见不敏感；故需 (a) 人工标注、(b) 构造专门的测试集（职业 × 人群）。④ <strong>'过度拒答率必须监控'</strong>——只优化安全会让模型拒绝一切；故需与'拒答率'并列衡量。⑤ <strong>'隐私是高风险维度'</strong>——VLM 可能识别图中人物（人脸识别式的能力）并泄露信息；故需 (a) 隐私测试、(b) 输出过滤（不描述可识别特征）。⑥ <strong>面试要点</strong>——被问'VLM 的偏见与安全'，应给出'<strong>偏见（属性关联/跨模态不一致，源于数据分布）+ 安全（有害内容/视觉越狱/隐私/误导）+ 评估（红队/基准/人工）+ 缓解（数据去偏/护栏/视觉侧过滤）</strong>'；能指出'视觉越狱是 VLM 特有攻击面'是深度理解的标志。