P5MediumPart P · MLE 生产工程与数据校准算子
Thompson Sampling 贝塔后验采样探索(冷启动与动态流量分配)
实现基于共轭先验 Beta-Bernoulli 更新的 Thompson Sampling 赌博机算子,自动平衡冷启动探索与高 CTR 候选利用。
⏱️ 时间复杂度:
O(T * K)💾 空间复杂度:
O(K)🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
def thompson_sampling_sim(true_ctrs: np.ndarray, rounds: int = 1000, seed: int = 7) -> dict:
rng =
k = len(true_ctrs)
alpha = np.ones(k, dtype=np.float64)
beta = np.ones(k, dtype=np.float64)
pulls = np.zeros(k, dtype=np.int64)
total_reward = 0
for _ in range(rounds):
sampled = rng.beta(alpha, beta)
arm = int(np.argmax(sampled))
reward = int(rng.random() < true_ctrs[arm])
pulls[arm] += 1
total_reward += reward
alpha[arm] += reward
beta[arm] += (1 - reward)
return
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: 在延迟反馈(如转化发生在点击 3 天后)场景直接套用标准 Bandit 会有什么后果?
Q2: 如何在 LLM 多模型路由(Model Routing)中结合上下文特征做扩展?
💡
实战一句话记忆口诀
Beta 后验每步采样,样本少方差大自带探索,样本多自然收敛最优
📐 核心数学公式与机理推导
$$\theta_a \sim \text{Beta}(\alpha_0 + S_a,\; \beta_0 + F_a),\quad a^* = \arg\max_a \theta_a$$
相比需要手动调节 或置信宽度的 UCB,Thompson Sampling 根据每路臂当前的成功次数 与失败次数 直接从后验共轭分布 采样并取最大。高不确定度的新臂方差大仍有机会突围,随着样本增长自然收敛至最优臂,累计 Regret 达信息论最优下界 。
🔄 张量维度与形状流转说明
alpha, beta: (K_arms,) -> rng.beta sample -> argmax arm -> posterior update
🛡️ 数值稳定性自检与边界要点
- 存在延迟反馈(Delayed Feedback)时不能等最终转化才更新;可用点击先更新或按时间窗口折现衰减历史计数
- 若业务 CTR 非平稳漂移(Non-stationary),需加遗忘因子 gamma < 1 对 alpha/beta 做指数衰减
- 线上高并发推理时支持 Batch 更新而不必每单同步锁写
💻 完整参考代码实现
import numpy as np
def thompson_sampling_sim(true_ctrs: np.ndarray, rounds: int = 1000, seed: int = 7) -> dict:
rng = np.random.default_rng(seed)
k = len(true_ctrs)
alpha = np.ones(k, dtype=np.float64)
beta = np.ones(k, dtype=np.float64)
pulls = np.zeros(k, dtype=np.int64)
total_reward = 0
for _ in range(rounds):
sampled = rng.beta(alpha, beta)
arm = int(np.argmax(sampled))
reward = int(rng.random() < true_ctrs[arm])
pulls[arm] += 1
total_reward += reward
alpha[arm] += reward
beta[arm] += (1 - reward)
return {"pulls": pulls.tolist(), "best_arm_picked": int(np.argmax(pulls)), "total_reward": total_reward}🧪 本地测试与正确性断言
可直接复制到本地 Python / Jupyter 验证:
res = thompson_sampling_sim(np.array([0.05, 0.12, 0.35, 0.18]), rounds=800, seed=42)
assert res['best_arm_picked'] == 2
assert res['pulls'][2] > sum(res['pulls']) * 0.65
print('P5 PASS')🎯 核心工程追问与标准应答
Q1:在延迟反馈(如转化发生在点击 3 天后)场景直接套用标准 Bandit 会有什么后果?
还没来得及回收的转化会被错误计为大量 F_a += 1 惩罚,导致高延迟优质商品/广告瞬间被彻底饿死;须引入转化时间分布生存加权或先用近端 Proxy 信号更新。
Q2:如何在 LLM 多模型路由(Model Routing)中结合上下文特征做扩展?
将 Beta-Bernoulli 升级为 Contextual Thompson Sampling(如 LinTS 或基于向量特征的神经网络贝叶斯最后一层),针对每个 Query 语境动态选取性价比最高的模型。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!