P1Medium★ MLE 线上故障排查 · 高频手撕Part P · MLE 生产工程与数据校准算子
训练-推理特征漂移审计(手写双样本 KS 检验算子)
不依赖 scipy,纯 NumPy 通过有序数组 np.searchsorted 计算经验 CDF 上确界差距,定位离线训练集与线上推理日志的 Skew。
⏱️ 时间复杂度:
O((N+M) log(N+M))💾 空间复杂度:
O(N+M)🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
def ks_two_sample_skew(train_vals: np.ndarray, serve_vals: np.ndarray) -> dict:
a =
b = np.sort(serve_vals[~np.isnan(serve_vals)])
n, m = len(a), len(b)
if n == 0 or m == 0:
return {"ks_stat": 1.0, "crit_001": 1.0, "skew_detected": True}
grid = np.concatenate([a, b])
cdf_a = np.searchsorted(a, grid, side="right") / n
cdf_b = np.searchsorted(b, grid, side="right") / m
ks_stat = float(np.max(np.abs(cdf_a - cdf_b)))
# alpha=0.01 asymptotic critical value c(alpha)=1.63
crit =
return {"ks_stat": ks_stat, "crit_001": crit, "skew_detected": bool(ks_stat > crit)}
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: 线上 AUC 暴跌但离线测试集验证完全正常,除了概念漂移最常见的工程原因是什么?
Q2: 样本几千万时任意微小漂移 KS 都会触发 p < 0.01,生产中如何避免天天误报?
💡
实战一句话记忆口诀
两边各自排好序,合并网格 searchsorted 算右闭 CDF,取绝对值最大值即 KS
📐 核心数学公式与机理推导
$$D_{\text{KS}} = \sup_x |F_{\text{train}}(x) - F_{\text{serve}}(x)|,\quad \text{pass} \iff D_{\text{KS}} < c(\alpha)\sqrt{\frac{n+m}{nm}}$$
双样本 Kolmogorov-Smirnov 统计量定义为两经验分布函数差的最大上确界 。将两个有序样本拼接作为候选跳变点,利用
searchsorted(..., side='right') / len 即可 严格求得经验 CDF 并对比大样本拒绝域 。🔄 张量维度与形状流转说明
train_vals: (N,), serve_vals: (M,) -> sorted CDF lookup -> scalar KS stat
🛡️ 数值稳定性自检与边界要点
- searchsorted 务必使用 side='right' 才符合经验 CDF P(X <= x) 的闭区间定义
- 对比超大样本(N > 100 万)时 KS p-value 极易过敏感,需配合 PSI / Wasserstein 效应量使用
- 必须先剔除 NaN 并单独监控训练/线上空值率差异
💻 完整参考代码实现
import numpy as np
def ks_two_sample_skew(train_vals: np.ndarray, serve_vals: np.ndarray) -> dict:
a = np.sort(train_vals[~np.isnan(train_vals)])
b = np.sort(serve_vals[~np.isnan(serve_vals)])
n, m = len(a), len(b)
if n == 0 or m == 0:
return {"ks_stat": 1.0, "crit_001": 1.0, "skew_detected": True}
grid = np.concatenate([a, b])
cdf_a = np.searchsorted(a, grid, side="right") / n
cdf_b = np.searchsorted(b, grid, side="right") / m
ks_stat = float(np.max(np.abs(cdf_a - cdf_b)))
# alpha=0.01 asymptotic critical value c(alpha)=1.63
crit = float(1.63 * np.sqrt((n + m) / (n * m)))
return {"ks_stat": ks_stat, "crit_001": crit, "skew_detected": bool(ks_stat > crit)}🧪 本地测试与正确性断言
可直接复制到本地 Python / Jupyter 验证:
rng = np.random.default_rng(1)
tr = rng.normal(0, 1, 1000)
ok = rng.normal(0, 1, 1000)
bad = rng.normal(0.5, 1, 1000)
assert ks_two_sample_skew(tr, ok)['skew_detected'] is False
assert ks_two_sample_skew(tr, bad)['skew_detected'] is True
print('P1 PASS')🎯 核心工程追问与标准应答
Q1:线上 AUC 暴跌但离线测试集验证完全正常,除了概念漂移最常见的工程原因是什么?
Training-Serving Skew:例如离线特征 SQL 用了全局当天聚合导致未来穿越或时区偏差、线上服务 Redis 默认值与离线
-1 填法不一致、或 Java/Go 推理端特征预处理精度/截断实现与 Python 训练代码有分歧。Q2:样本几千万时任意微小漂移 KS 都会触发 p < 0.01,生产中如何避免天天误报?
在显著性检验之外设置最小效应量门槛(如 D_KS > 0.08 或 PSI > 0.1),或采用等抽样固定样本窗口(如固定抽 N=2000)做周期性统计比较。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!