O6EasyPart O · BA→Python 数据科学化与统计算子
抗离群鲁棒数据契约门禁(NaN 率 + Median-MAD Z-Score)
使用中位数与绝对中位差(MAD)取代易被极值拉偏的均值方差,构建上线前数据批量契约门禁拦截上游脏表与 NaN 激增。
⏱️ 时间复杂度:
O(N)💾 空间复杂度:
O(N)🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
def validate_feature_batch(values: np.ndarray, max_null_rate: float = 0.05, z_thresh: float = 6.0) -> dict:
n = len(values)
if n == 0:
return {"passed": False, "null_rate": 1.0, "outlier_count": 0, "reason": "empty_batch"}
nan_mask =
null_rate = float(np.mean(nan_mask))
valid = values[~nan_mask]
if null_rate > max_null_rate or len(valid) == 0:
return {"passed": False, "null_rate": null_rate, "outlier_count": 0, "reason": "null_rate_exceeded"}
med = float(np.median(valid))
mad = float(np.median(np.abs(valid - med)))
if mad < 1e-12:
outliers = int(np.sum(np.abs(valid - med) > 1e-6))
else:
robust_z = 0.6745 * np.abs(valid - med) / mad
outliers =
passed = outliers <= max(1, int(0.01 * len(valid)))
return {"passed": passed, "null_rate": null_rate, "outlier_count": outliers, "reason": "ok" if passed else "outlier_spike"}
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: 为什么不能用普通 3-Sigma(mean ± 3*std)做线上特征监控门禁?
Q2: 门禁触发失败后在训练/在线特征管道应该采取什么降级动作?
💡
实战一句话记忆口诀
均值怕脏数,中位 MAD 抗崩坏,先剔 NaN 再判 0.6745 阈值
📐 核心数学公式与机理推导
$$\text{MAD} = \text{median}(|x - \tilde{x}|),\quad z_{\text{robust}} = \frac{0.6745(x - \tilde{x})}{\text{MAD}}$$
均值与标准差的崩溃点(Breakdown Point)为 ,单条百万倍脏值就能把普通 Z-Score 掩盖成看似正常;基于中位数与 的稳健得分 崩溃点达 ,能稳定拦截上游埋点故障、单位错标与空值洪峰。
🔄 张量维度与形状流转说明
values: (N,) -> valid slice (~isnan) -> median/MAD -> pass/fail gate
🛡️ 数值稳定性自检与边界要点
- 先统计 NaN 占比与剔除后再算 median/MAD,否则 np.median 会传播 NaN
- 当超过半数样本相同导致 MAD == 0 时需提供兜底退化判断,切勿除以零
- 注意区分空批次与空值超限的不同告警原因以便 Data On-Call 快速定位
💻 完整参考代码实现
import numpy as np
def validate_feature_batch(values: np.ndarray, max_null_rate: float = 0.05, z_thresh: float = 6.0) -> dict:
n = len(values)
if n == 0:
return {"passed": False, "null_rate": 1.0, "outlier_count": 0, "reason": "empty_batch"}
nan_mask = np.isnan(values)
null_rate = float(np.mean(nan_mask))
valid = values[~nan_mask]
if null_rate > max_null_rate or len(valid) == 0:
return {"passed": False, "null_rate": null_rate, "outlier_count": 0, "reason": "null_rate_exceeded"}
med = float(np.median(valid))
mad = float(np.median(np.abs(valid - med)))
if mad < 1e-12:
outliers = int(np.sum(np.abs(valid - med) > 1e-6))
else:
robust_z = 0.6745 * np.abs(valid - med) / mad
outliers = int(np.sum(robust_z > z_thresh))
passed = outliers <= max(1, int(0.01 * len(valid)))
return {"passed": passed, "null_rate": null_rate, "outlier_count": outliers, "reason": "ok" if passed else "outlier_spike"}🧪 本地测试与正确性断言
可直接复制到本地 Python / Jupyter 验证:
clean = np.concatenate([np.ones(98), [np.nan, 100.0]])
r1 = validate_feature_batch(clean)
assert r1['passed'] is True
bad = np.concatenate([np.zeros(90), np.full(10, 50.0)])
r2 = validate_feature_batch(bad)
assert r2['passed'] is False and r2['reason'] == 'outlier_spike'
print('O6 PASS')🎯 核心工程追问与标准应答
Q1:为什么不能用普通 3-Sigma(mean ± 3*std)做线上特征监控门禁?
假设 2% 的脏数据是金额乘了 10000,这 2% 会把样本标准差放大几十倍,反而导致正常 3-Sigma Z 分数算出来小于 2 而完美漏报。
Q2:门禁触发失败后在训练/在线特征管道应该采取什么降级动作?
拒绝写入主特征库/模型权重,保持上一次 Healthy Snapshot 版本不变并把当前批次隔离到 Quarantine 死信表供排查。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!