Inference Serving & Deployment: 解释灰度发布与影子流量。

Core Concept: 灰度：小流量切新版本（按比例/用户/地区）；影子：新版本并行接收流量但不返回（对比而不影响用户）。

数学机理：<strong>灰度发布（canary release）与影子流量（shadow traffic）</strong>——(1) <strong>灰度发布（canary）</strong>——(a) <strong>做法</strong>——(i) 新版本先接收<strong>小比例</strong>流量（如 1% → 5% → 20% → 100%）；(ii) 每阶段观察指标（延迟/错误率/业务指标）；(iii) 达标则放量、不达标则<strong>回滚</strong>；(b) <strong>流量切分维度</strong>——(i) <strong>按比例</strong>（随机 1%）；(ii) <strong>按用户</strong>（特定用户 id 段——保证同一用户体验一致）；(iii) <strong>按地区/设备</strong>；(iv) <strong>按内部用户先行</strong>（内部员工先用——'dogfooding'）；(c) <strong>优点</strong>——(i) <strong>风险可控</strong>（只影响小部分用户）；(ii) <strong>真实流量验证</strong>（比离线更可靠）；(iii) 可<strong>A/B 对比</strong>（灰度组 vs 对照组）；(d) <strong>关键</strong>——(i) <strong>快速回滚</strong>（一键切回）；(ii) <strong>自动回滚</strong>（指标超阈值自动回滚）；(iii) <strong>监控</strong>（延迟/错误/业务）。(2) <strong>影子流量（shadow）</strong>——(a) <strong>做法</strong>——把<strong>线上真实流量镜像</strong>一份给<strong>新版本</strong>，但<strong>新版本的结果不返回给用户</strong>（只记录）；(b) <strong>优点</strong>——(i) <strong>零风险</strong>（用户完全不受影响）；(ii) <strong>可对比</strong>（新老版本的输出差异）；(iii) <strong>可压测</strong>（用真实流量测新版本的性能）；(c) <strong>缺点</strong>——(i) <strong>成本翻倍</strong>（跑两份）；(ii) <strong>无法测业务指标</strong>（用户只看到老版本的结果）；(iii) 需处理'副作用'（若新版本有写操作需隔离）；(d) <strong>场景</strong>——(i) <strong>高风险变更</strong>（大模型替换）；(ii) <strong>性能验证</strong>（新引擎）；(iii) <strong>输出对比</strong>（离线评估的真实数据）。(3) <strong>两者的区别</strong>——(a) <strong>灰度</strong>——新版本<strong>服务真实用户</strong>（小比例）→ 可测业务指标，但有风险；(b) <strong>影子</strong>——新版本<strong>只观察不服务</strong>→ 零风险，但无法测业务指标；(c) <strong>组合</strong>——先影子（验证正确性与性能）→ 再灰度（验证业务指标）。(4) <strong>相关技术</strong>——(a) <strong>蓝绿部署（blue-green）</strong>——两套环境，一键切换（<strong>全量</strong>切换，回滚快）；(b) <strong>A/B 测试</strong>——灰度的一种（用于对比业务指标）；(c) <strong>特性开关（feature flag）</strong>——代码内的开关（不改部署即切换）；(d) <strong>金丝雀分析</strong>（自动对比灰度组与对照组的指标）。(5) <strong>关键工程点</strong>——(a) <strong>流量切分的一致性</strong>（同一用户始终同一组）；(b) <strong>快速回滚</strong>（配置驱动 + 秒级生效）；(c) <strong>自动回滚</strong>（指标阈值触发）；(d) <strong>指标对比</strong>（灰度 vs 对照）；(e) <strong>依赖兼容</strong>（新旧版本的接口兼容）；(f) <strong>状态兼容</strong>（新旧版本的数据格式）。<strong>与其他问题的关系</strong>——(a) 与'模型版本管理'（版本切换）；(b) 与'A/B 实验'（灰度是实验的一种）；(c) 与'可靠性与降级'（回滚是降级的一种）。<strong>实践建议</strong>——(a) <strong>高风险变更先影子</strong>（零风险验证）；(b) <strong>再灰度</strong>（业务指标）；(c) <strong>自动回滚</strong>（指标阈值）；(d) <strong>快速回滚</strong>（配置驱动）；(e) <strong>监控对比</strong>（灰度 vs 对照）；(f) <strong>注意副作用隔离</strong>（影子的写操作）。<strong>度量</strong>——(a) 灰度期间的指标对比；(b) 回滚时间；(c) 事故影响面（多少用户受影响）；(d) 影子的一致性（新旧输出差异）。

深度剖析与工程权衡：① <strong>'影子零风险但无法测业务指标'</strong>——这是它与灰度的核心区别；面试中能指出是深度理解的标志。② <strong>'先影子后灰度'是最佳实践</strong>——先验证正确性/性能、再验证业务指标。③ <strong>'自动回滚'是必需的</strong>——人工回滚太慢；需指标阈值触发。④ <strong>'流量切分一致性'</strong>——同一用户始终同组（否则体验不一致）。⑤ <strong>'影子的副作用隔离'</strong>——若新版本有写操作（如更新缓存），需隔离。⑥ <strong>面试要点</strong>——被问'怎么安全上线新模型'，应给出'<strong>影子（零风险验证）→ 灰度（小流量+业务指标）→ 自动回滚 + 流量切分 + 监控对比</strong>'；能指出'影子与灰度的区别'是深度理解的标志。