上下文老虎机

上下文老虎机 (Contextual Bandit) 在 MAB 基础上引入每轮可观测的上下文特征 $x_t \in \mathbb{R}^d$,策略 $\pi(x)$ 根据特征选动作,目标是最大化条件期望奖励 $\mathbb{E}[r \mid x, a]$。代表算法 LinUCB:假设奖励关于特征线性 $r_{t,a} = \theta_a^T x_{t,a} + \epsilon$,对每个臂用岭回归估计 $\hat{\theta}_a = (X_a^T X_a + \lambda I)^{-1} X_a^T y_a$($X_a$/$y_a$ 是该臂的历史特征矩阵与奖励向量,$\lambda I$ 为正则化),并构造置信区间 $p_{t,a} = \hat{\theta}_a^T x_{t,a} + \alpha \sqrt{x_{t,a}^T (X_a^T X_a + \lambda I)^{-1} x_{t,a}}$,每轮选择上界最大的臂。

个性化推荐(用户特征+候选特征)、广告竞价、动态定价、新闻/短视频排序;面试中强调与 RecSys 的衔接:上下文即特征工程,模型即在线学习的奖励预测器。

无上下文 MAB 对所有用户一视同仁,冷启动与个性化能力弱;contextual bandit 借助特征跨上下文共享样本,冷启动更快、收益提升显著,是"纯探索"与"完整 RL/监督学习"之间的务实折中——只需实时反馈,不需要离线数据集或模拟环境。

写出 LinUCB 的岭回归解与置信项, 解释 $(X_a^T X_a + \lambda I)^{-1}$ 的含义与 $\lambda I$ 的作用?

数值/推导题: $d$ 维特征下估计 $\hat{\theta}_a$ 的复杂度?为什么逆协方差矩阵随样本增加而收缩?

contextual bandit 与完整 RL、监督学习 (offline ML) 的本质区别?

在推荐系统中如何构造上下文特征?如何缓解冷启动?

LinUCB vs 在线逻辑回归/GBDT: 线性假设不成立时怎么办 (kernel/neural contextual bandit)?