P5MediumPart P · MLE 生产工程与数据校准算子

Thompson Sampling 贝塔后验采样探索(冷启动与动态流量分配)

⚡闪卡盲测➔

实现基于共轭先验 Beta-Bernoulli 更新的 Thompson Sampling 赌博机算子,自动平衡冷启动探索与高 CTR 候选利用。

⏱️ 时间复杂度: O(T * K)
💾 空间复杂度: O(K)
🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
def thompson_sampling_sim(true_ctrs: np.ndarray, rounds: int = 1000, seed: int = 7) -> dict:
rng =
k = len(true_ctrs)
alpha = np.ones(k, dtype=np.float64)
beta = np.ones(k, dtype=np.float64)
pulls = np.zeros(k, dtype=np.int64)
total_reward = 0
for _ in range(rounds):
sampled = rng.beta(alpha, beta)
arm = int(np.argmax(sampled))
reward = int(rng.random() < true_ctrs[arm])
pulls[arm] += 1
total_reward += reward
alpha[arm] += reward
beta[arm] += (1 - reward)
return
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: 在延迟反馈(如转化发生在点击 3 天后)场景直接套用标准 Bandit 会有什么后果?
Q2: 如何在 LLM 多模型路由(Model Routing)中结合上下文特征做扩展?
下一题: 广告概率校准 Platt Scaling 与预期校准误差 ECE 算子 →
💡

实战一句话记忆口诀

Beta 后验每步采样,样本少方差大自带探索,样本多自然收敛最优

📐 核心数学公式与机理推导

$$\theta_a \sim \text{Beta}(\alpha_0 + S_a,\; \beta_0 + F_a),\quad a^* = \arg\max_a \theta_a$$
相比需要手动调节 ϵ\epsilon 或置信宽度的 UCB,Thompson Sampling 根据每路臂当前的成功次数 SaS_a 与失败次数 FaF_a 直接从后验共轭分布 Beta(α0+Sa,β0+Fa)\text{Beta}(\alpha_0+S_a, \beta_0+F_a) 采样并取最大。高不确定度的新臂方差大仍有机会突围,随着样本增长自然收敛至最优臂,累计 Regret 达信息论最优下界 O(log⁡T)O(\log T)。

🔄 张量维度与形状流转说明

alpha, beta: (K_arms,) -> rng.beta sample -> argmax arm -> posterior update

🛡️ 数值稳定性自检与边界要点

  • 存在延迟反馈(Delayed Feedback)时不能等最终转化才更新;可用点击先更新或按时间窗口折现衰减历史计数
  • 若业务 CTR 非平稳漂移(Non-stationary),需加遗忘因子 gamma < 1 对 alpha/beta 做指数衰减
  • 线上高并发推理时支持 Batch 更新而不必每单同步锁写

💻 完整参考代码实现

import numpy as np

def thompson_sampling_sim(true_ctrs: np.ndarray, rounds: int = 1000, seed: int = 7) -> dict:
    rng = np.random.default_rng(seed)
    k = len(true_ctrs)
    alpha = np.ones(k, dtype=np.float64)
    beta = np.ones(k, dtype=np.float64)
    pulls = np.zeros(k, dtype=np.int64)
    total_reward = 0
    for _ in range(rounds):
        sampled = rng.beta(alpha, beta)
        arm = int(np.argmax(sampled))
        reward = int(rng.random() < true_ctrs[arm])
        pulls[arm] += 1
        total_reward += reward
        alpha[arm] += reward
        beta[arm] += (1 - reward)
    return {"pulls": pulls.tolist(), "best_arm_picked": int(np.argmax(pulls)), "total_reward": total_reward}

🧪 本地测试与正确性断言

可直接复制到本地 Python / Jupyter 验证:

res = thompson_sampling_sim(np.array([0.05, 0.12, 0.35, 0.18]), rounds=800, seed=42)
assert res['best_arm_picked'] == 2
assert res['pulls'][2] > sum(res['pulls']) * 0.65
print('P5 PASS')

🎯 核心工程追问与标准应答

Q1:在延迟反馈(如转化发生在点击 3 天后)场景直接套用标准 Bandit 会有什么后果?
还没来得及回收的转化会被错误计为大量 F_a += 1 惩罚,导致高延迟优质商品/广告瞬间被彻底饿死;须引入转化时间分布生存加权或先用近端 Proxy 信号更新。
Q2:如何在 LLM 多模型路由(Model Routing)中结合上下文特征做扩展?
将 Beta-Bernoulli 升级为 Contextual Thompson Sampling(如 LinTS 或基于向量特征的神经网络贝叶斯最后一层),针对每个 Query 语境动态选取性价比最高的模型。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
← 上一题: 幂等 CDC 增量向量同步与墓碑集合 Diff 规划器返回 Part P 与全部 105 题下一题: 广告概率校准 Platt Scaling 与预期校准误差 ECE 算子 →