上下文老虎机

上下文老虎机 (Contextual Bandit) 在 MAB 基础上引入每轮可观测的上下文特征 $x_t \in \mathbb{R}^d$,策略 $\pi(x)$ 根据特征选动作,目标是最大化条件期望奖励 $\mathbb{E}[r \mid x, a]$。代表算法 LinUCB:假设奖励关于特征线性 $r_{t,a} = \theta_a^T x_{t,a} + \epsilon$,对每个臂用岭回归估计 $\hat{\theta}_a = (X_a^T X_a + \lambda I)^{-1} X_a^T y_a$($X_a$/$y_a$ 是该臂的历史特征矩阵与奖励向量,$\lambda I$ 为正则化),并构造置信区间 $p_{t,a} = \hat{\theta}_a^T x_{t,a} + \alpha \sqrt{x_{t,a}^T (X_a^T X_a + \lambda I)^{-1} x_{t,a}}$,每轮选择上界最大的臂。

个性化推荐(用户特征+候选特征)、广告竞价、动态定价、新闻/短视频排序;面试中强调与 RecSys 的衔接:上下文即特征工程,模型即在线学习的奖励预测器。

无上下文 MAB 对所有用户一视同仁,冷启动与个性化能力弱;contextual bandit 借助特征跨上下文共享样本,冷启动更快、收益提升显著,是"纯探索"与"完整 RL/监督学习"之间的务实折中——只需实时反馈,不需要离线数据集或模拟环境。

检验攻克程度：针对「上下文老虎机」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。