L6Medium★ 工业基石 (核心高频)Part L · 经典 ML 与统计模拟

Welford 在线单遍流式均值与方差算法

⚡闪卡盲测➔

流式实时计算与数值防灾级算法,单遍流式更新均值与二阶差分平方和,彻底根除大数相消导致的灾难性精度截断。

⏱️ 时间复杂度: O(1) 每次更新仅需常数次加减乘除
💾 空间复杂度: O(1) 仅需维护 count, mean, M2 三个浮点数
🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
class WelfordAccumulator:
def __init__(self):
self.count = 0
self.mean = 0.0
self.M2 = 0.0
def update(self, x: float):
self.count += 1
delta =
self.mean += delta / self.count
delta2 = x - self.mean
self.M2 += delta * delta2
@property
def variance_sample(self) -> float:
"""样本无偏方差 (除以 n - 1)"""
if self.count < 2:
return 0.0
return self.M2 / (self.count - 1)
@property
def variance_population(self) -> float:
"""总体方差 (除以 n)"""
if self.count == 0:
return 0.0
return
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: 在大规模分布式多节点中,如何将两个独立的 Welford 统计结果进行并行合并?
下一题: 蓄水池抽样(Reservoir Sampling:单遍等概率抽取 k 个样本) →
💡

实战一句话记忆口诀

均值增量除以 n,新旧两差相乘累加方,单遍流式抗相消

📐 核心数学公式与机理推导

μk=μk−1+xk−μk−1k,M2,k=M2,k−1+(xk−μk−1)(xk−μk),s2=M2,kk−1\mu_k = \mu_{k-1} + \frac{x_k - \mu_{k-1}}{k}, \quad M_{2, k} = M_{2, k-1} + (x_k - \mu_{k-1})(x_k - \mu_k), \quad s^2 = \frac{M_{2, k}}{k - 1}
### 灾难性数值相消(Catastrophic Cancellation)的救赎
传统教科书方差公式为两遍遍历:1N∑(xi−xˉ)2\frac{1}{N} \sum (x_i - \bar{x})^2。
有人为了流式单遍处理改写为展开式:
s2=1N∑xi2−(1N∑xi)2s^2 = \frac{1}{N} \sum x_i^2 - \left(\frac{1}{N} \sum x_i\right)^2
致命隐患:当数据均值很大但方差很小时(如输入 x=[109+1,109+2]x = [10^9 + 1, 10^9 + 2]),∑xi2\sum x_i^2 与 (∑xi)2(\sum x_i)^2 都是巨大的千万亿级数字,浮点尾数精度截断后两数相减,差值往往直接变成 0 甚至是负数!
B. P. Welford 增量递推推导(1962):
记前 kk 个数的均值为 μk\mu_k,偏差平方和为 M2,k=∑i=1k(xi−μk)2M_{2, k} = \sum_{i=1}^k (x_i - \mu_k)^2:
μk=μk−1+xk−μk−1k\mu_k = \mu_{k-1} + \frac{x_k - \mu_{k-1}}{k}
M2,k=M2,k−1+(xk−μk−1)(xk−μk)M_{2, k} = M_{2, k-1} + (x_k - \mu_{k-1})(x_k - \mu_k)
全程没有任何大数平方相消,始终保持高精度单遍流式增量累加!

🔄 张量维度与形状流转说明

流式输入标量 x -> delta = x - mean -> mean += delta/n -> M2 += delta * (x - new_mean) -> 方差 = M2 / (n-1)

🛡️ 数值稳定性自检与边界要点

  • 注意第二个乘项 delta2 使用的是已经更新后的 new_mean,即 (x - mean_old) * (x - mean_new)
  • 完全不需要在内存中保存历史数据点,单机实时监控与边缘计算神器

💻 完整参考代码实现

import numpy as np

class WelfordAccumulator:
    def __init__(self):
        self.count = 0
        self.mean = 0.0
        self.M2 = 0.0
        
    def update(self, x: float):
        self.count += 1
        delta = x - self.mean
        self.mean += delta / self.count
        delta2 = x - self.mean
        self.M2 += delta * delta2
        
    @property
    def variance_sample(self) -> float:
        """样本无偏方差 (除以 n - 1)"""
        if self.count < 2:
            return 0.0
        return self.M2 / (self.count - 1)
        
    @property
    def variance_population(self) -> float:
        """总体方差 (除以 n)"""
        if self.count == 0:
            return 0.0
        return self.M2 / self.count

🧪 本地测试与正确性断言

可直接复制到本地 Python / Jupyter 验证:

import numpy as np
wf = WelfordAccumulator()
# 输入极容易导致传统公式精度截断崩溃的大数
data = [1e9 + 1.0, 1e9 + 2.0, 1e9 + 3.0]
for d in data:
    wf.update(d)
assert np.isclose(wf.mean, 1e9 + 2.0)
# 样本方差对于 [1, 2, 3] 应精确为 1.0
assert np.isclose(wf.variance_sample, 1.0), f"实际方差: {wf.variance_sample}"
print("✓ Welford 单遍流式方差算法自测通过")

🎯 核心工程追问与标准应答

Q1:在大规模分布式多节点中,如何将两个独立的 Welford 统计结果进行并行合并?
利用 Chan 等人提出的并行合并公式:记两组统计量为 (nA,μA,M2,A)(n_A, \mu_A, M_{2, A}) 与 (nB,μB,M2,B)(n_B, \mu_B, M_{2, B})。合并后的总样本量 n=nA+nBn = n_A + n_B;总均值 μ=μA+nBn(μB−μA)\mu = \mu_A + \frac{n_B}{n}(\mu_B - \mu_A);总偏差和 M2=M2,A+M2,B+(μB−μA)2nAnBnM_2 = M_{2, A} + M_{2, B} + (\mu_B - \mu_A)^2 \frac{n_A n_B}{n},无需任何原始样本即可完美无损合并。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
← 上一题: Bootstrap 重采样(均值估计与 95% 置信区间)返回 Part L 与全部 105 题下一题: 蓄水池抽样(Reservoir Sampling:单遍等概率抽取 k 个样本) →