P1Medium★ MLE 线上故障排查 · 高频手撕Part P · MLE 生产工程与数据校准算子

训练-推理特征漂移审计(手写双样本 KS 检验算子)

⚡闪卡盲测➔

不依赖 scipy,纯 NumPy 通过有序数组 np.searchsorted 计算经验 CDF 上确界差距,定位离线训练集与线上推理日志的 Skew。

⏱️ 时间复杂度: O((N+M) log(N+M))
💾 空间复杂度: O(N+M)
🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
def ks_two_sample_skew(train_vals: np.ndarray, serve_vals: np.ndarray) -> dict:
a =
b = np.sort(serve_vals[~np.isnan(serve_vals)])
n, m = len(a), len(b)
if n == 0 or m == 0:
return {"ks_stat": 1.0, "crit_001": 1.0, "skew_detected": True}
grid = np.concatenate([a, b])
cdf_a = np.searchsorted(a, grid, side="right") / n
cdf_b = np.searchsorted(b, grid, side="right") / m
ks_stat = float(np.max(np.abs(cdf_a - cdf_b)))
# alpha=0.01 asymptotic critical value c(alpha)=1.63
crit =
return {"ks_stat": ks_stat, "crit_001": crit, "skew_detected": bool(ks_stat > crit)}
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: 线上 AUC 暴跌但离线测试集验证完全正常,除了概念漂移最常见的工程原因是什么?
Q2: 样本几千万时任意微小漂移 KS 都会触发 p < 0.01,生产中如何避免天天误报?
下一题: Token 预算与条数双约束动态组批器(RAG 批量 Embedding 队列) →
💡

实战一句话记忆口诀

两边各自排好序,合并网格 searchsorted 算右闭 CDF,取绝对值最大值即 KS

📐 核心数学公式与机理推导

$$D_{\text{KS}} = \sup_x |F_{\text{train}}(x) - F_{\text{serve}}(x)|,\quad \text{pass} \iff D_{\text{KS}} < c(\alpha)\sqrt{\frac{n+m}{nm}}$$
双样本 Kolmogorov-Smirnov 统计量定义为两经验分布函数差的最大上确界 Dn,m=sup⁡x∣Fn(x)−Gm(x)∣D_{n,m} = \sup_x |F_n(x)-G_m(x)|。将两个有序样本拼接作为候选跳变点,利用 searchsorted(..., side='right') / len 即可 O((n+m)log⁡n)O((n+m)\log n) 严格求得经验 CDF 并对比大样本拒绝域 c(α)n+mnmc(\alpha)\sqrt{\frac{n+m}{nm}}。

🔄 张量维度与形状流转说明

train_vals: (N,), serve_vals: (M,) -> sorted CDF lookup -> scalar KS stat

🛡️ 数值稳定性自检与边界要点

  • searchsorted 务必使用 side='right' 才符合经验 CDF P(X <= x) 的闭区间定义
  • 对比超大样本(N > 100 万)时 KS p-value 极易过敏感,需配合 PSI / Wasserstein 效应量使用
  • 必须先剔除 NaN 并单独监控训练/线上空值率差异

💻 完整参考代码实现

import numpy as np

def ks_two_sample_skew(train_vals: np.ndarray, serve_vals: np.ndarray) -> dict:
    a = np.sort(train_vals[~np.isnan(train_vals)])
    b = np.sort(serve_vals[~np.isnan(serve_vals)])
    n, m = len(a), len(b)
    if n == 0 or m == 0:
        return {"ks_stat": 1.0, "crit_001": 1.0, "skew_detected": True}
    grid = np.concatenate([a, b])
    cdf_a = np.searchsorted(a, grid, side="right") / n
    cdf_b = np.searchsorted(b, grid, side="right") / m
    ks_stat = float(np.max(np.abs(cdf_a - cdf_b)))
    # alpha=0.01 asymptotic critical value c(alpha)=1.63
    crit = float(1.63 * np.sqrt((n + m) / (n * m)))
    return {"ks_stat": ks_stat, "crit_001": crit, "skew_detected": bool(ks_stat > crit)}

🧪 本地测试与正确性断言

可直接复制到本地 Python / Jupyter 验证:

rng = np.random.default_rng(1)
tr = rng.normal(0, 1, 1000)
ok = rng.normal(0, 1, 1000)
bad = rng.normal(0.5, 1, 1000)
assert ks_two_sample_skew(tr, ok)['skew_detected'] is False
assert ks_two_sample_skew(tr, bad)['skew_detected'] is True
print('P1 PASS')

🎯 核心工程追问与标准应答

Q1:线上 AUC 暴跌但离线测试集验证完全正常,除了概念漂移最常见的工程原因是什么?
Training-Serving Skew:例如离线特征 SQL 用了全局当天聚合导致未来穿越或时区偏差、线上服务 Redis 默认值与离线 -1 填法不一致、或 Java/Go 推理端特征预处理精度/截断实现与 Python 训练代码有分歧。
Q2:样本几千万时任意微小漂移 KS 都会触发 p < 0.01,生产中如何避免天天误报?
在显著性检验之外设置最小效应量门槛(如 D_KS > 0.08 或 PSI > 0.1),或采用等抽样固定样本窗口(如固定抽 N=2000)做周期性统计比较。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
← 上一题: 抗离群鲁棒数据契约门禁(NaN 率 + Median-MAD Z-Score)返回 Part P 与全部 105 题下一题: Token 预算与条数双约束动态组批器(RAG 批量 Embedding 队列) →