L6Medium★ 工业基石 (核心高频)Part L · 经典 ML 与统计模拟
Welford 在线单遍流式均值与方差算法
流式实时计算与数值防灾级算法,单遍流式更新均值与二阶差分平方和,彻底根除大数相消导致的灾难性精度截断。
⏱️ 时间复杂度:
O(1) 每次更新仅需常数次加减乘除💾 空间复杂度:
O(1) 仅需维护 count, mean, M2 三个浮点数🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
class WelfordAccumulator:
def __init__(self):
self.count = 0
self.mean = 0.0
self.M2 = 0.0
def update(self, x: float):
self.count += 1
delta =
self.mean += delta / self.count
delta2 = x - self.mean
self.M2 += delta * delta2
@property
def variance_sample(self) -> float:
"""样本无偏方差 (除以 n - 1)"""
if self.count < 2:
return 0.0
return self.M2 / (self.count - 1)
@property
def variance_population(self) -> float:
"""总体方差 (除以 n)"""
if self.count == 0:
return 0.0
return
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: 在大规模分布式多节点中,如何将两个独立的 Welford 统计结果进行并行合并?
💡
实战一句话记忆口诀
均值增量除以 n,新旧两差相乘累加方,单遍流式抗相消
📐 核心数学公式与机理推导
### 灾难性数值相消(Catastrophic Cancellation)的救赎
传统教科书方差公式为两遍遍历:。
有人为了流式单遍处理改写为展开式:
致命隐患:当数据均值很大但方差很小时(如输入 ), 与 都是巨大的千万亿级数字,浮点尾数精度截断后两数相减,差值往往直接变成 0 甚至是负数!
B. P. Welford 增量递推推导(1962):
记前 个数的均值为 ,偏差平方和为 :
全程没有任何大数平方相消,始终保持高精度单遍流式增量累加!
传统教科书方差公式为两遍遍历:。
有人为了流式单遍处理改写为展开式:
致命隐患:当数据均值很大但方差很小时(如输入 ), 与 都是巨大的千万亿级数字,浮点尾数精度截断后两数相减,差值往往直接变成 0 甚至是负数!
B. P. Welford 增量递推推导(1962):
记前 个数的均值为 ,偏差平方和为 :
全程没有任何大数平方相消,始终保持高精度单遍流式增量累加!
🔄 张量维度与形状流转说明
流式输入标量 x -> delta = x - mean -> mean += delta/n -> M2 += delta * (x - new_mean) -> 方差 = M2 / (n-1)
🛡️ 数值稳定性自检与边界要点
- 注意第二个乘项 delta2 使用的是已经更新后的 new_mean,即 (x - mean_old) * (x - mean_new)
- 完全不需要在内存中保存历史数据点,单机实时监控与边缘计算神器
💻 完整参考代码实现
import numpy as np
class WelfordAccumulator:
def __init__(self):
self.count = 0
self.mean = 0.0
self.M2 = 0.0
def update(self, x: float):
self.count += 1
delta = x - self.mean
self.mean += delta / self.count
delta2 = x - self.mean
self.M2 += delta * delta2
@property
def variance_sample(self) -> float:
"""样本无偏方差 (除以 n - 1)"""
if self.count < 2:
return 0.0
return self.M2 / (self.count - 1)
@property
def variance_population(self) -> float:
"""总体方差 (除以 n)"""
if self.count == 0:
return 0.0
return self.M2 / self.count
🧪 本地测试与正确性断言
可直接复制到本地 Python / Jupyter 验证:
import numpy as np
wf = WelfordAccumulator()
# 输入极容易导致传统公式精度截断崩溃的大数
data = [1e9 + 1.0, 1e9 + 2.0, 1e9 + 3.0]
for d in data:
wf.update(d)
assert np.isclose(wf.mean, 1e9 + 2.0)
# 样本方差对于 [1, 2, 3] 应精确为 1.0
assert np.isclose(wf.variance_sample, 1.0), f"实际方差: {wf.variance_sample}"
print("✓ Welford 单遍流式方差算法自测通过")🎯 核心工程追问与标准应答
Q1:在大规模分布式多节点中,如何将两个独立的 Welford 统计结果进行并行合并?
利用 Chan 等人提出的并行合并公式:记两组统计量为 与 。合并后的总样本量 ;总均值 ;总偏差和 ,无需任何原始样本即可完美无损合并。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!