Cold Start & Long-Tail Distribution: 解释探索与利用（EE）在推荐中的必要性与方法。

Core Concept: 利用=推已知好的（短期最优）；探索=试未知的（收集信息、发现更好、打破死循环）；方法：ε-greedy/UCB/Thompson。

数学机理：<strong>探索-利用（Exploration-Exploitation，EE）</strong>——(1) <strong>两难</strong>——(a) <strong>利用（exploit）</strong>——推荐'模型认为最好'的物品（最大化短期收益）；(b) <strong>探索（explore）</strong>——推荐'模型不确定'的物品（收集信息、可能发现更好的、给新物品机会）；(c) <strong>矛盾</strong>——探索的短期收益低（可能推不相关的），但<strong>长期必需</strong>（否则永远不知道更好的）。(2) <strong>为什么纯利用不好</strong>——(a) <strong>反馈循环</strong>（只推已知好的 → 新物品永无数据 → 系统越来越窄）；(b) <strong>无法适应变化</strong>（用户兴趣/物品质量会变）；(c) <strong>局部最优</strong>（'已知最好'可能不是全局最好）；(d) <strong>冷启动无解</strong>（新物品无曝光）。(3) <strong>形式化</strong>——用 <strong>regret（遗憾）</strong> 衡量：regret = T·μ* − Σ_{t=1}^T r_t（μ* 是最优臂的期望收益、r_t 是实际收益）；目标是<strong>最小化累积 regret</strong>（即'尽快找到并利用最优臂'）。<strong>方法</strong>——(a) <strong>ε-greedy</strong>——以概率 ε <strong>随机</strong>推荐（探索）、以 1−ε 利用；<strong>优点</strong>——简单；<strong>缺点</strong>——(i) 探索是'盲目'的（不区分'哪些更值得探索'）；(ii) ε 需调（固定 ε 的 regret 是线性的）；(iii) 探索期会持续（ε 不衰减时）。(b) <strong>UCB（Upper Confidence Bound）</strong>——<strong>乐观原则</strong>：对每个臂估计'收益上界'，选上界最高的：UCB_i = μ̂_i + c·√(ln t / n_i)（μ̂ 是经验均值、n_i 是臂 i 的尝试次数）；<strong>优点</strong>——(i) <strong>不确定性驱动</strong>（尝试少的臂上界高 → 自动探索）；(ii) <strong>理论保证</strong>（regret 是 O(log T)）；(iii) 探索会'自然收敛'（随着 n_i 增大，上界收紧）；<strong>缺点</strong>——需'收益有界'的假设。(c) <strong>Thompson Sampling（贝叶斯）</strong>——对每个臂维护'收益分布的后验'，每步<strong>从后验采样</strong>并选最高；<strong>优点</strong>——(i) <strong>优雅</strong>（概率匹配原则）；(ii) <strong>实践中表现好</strong>（常优于 UCB）；(iii) 自然处理不确定性；<strong>缺点</strong>——需后验（计算成本）。(d) <strong>上下文 bandit（contextual bandit）</strong>——引入'上下文 x'（用户/场景），用模型预测'给定 x 下各臂的收益'（推荐系统的标准形式）；(e) <strong>LinUCB / LinTS</strong>（线性上下文 bandit）；(f) <strong>神经 bandit</strong>（用深度模型）。(4) <strong>推荐系统的实践</strong>——(a) <strong>小流量探索</strong>（如 5% 流量做随机/探索）；(b) <strong>配额探索</strong>（强制给新物品/长尾曝光）；(c) <strong>ε-greedy 的变体</strong>（按'物品的成熟度'调 ε）；(d) <strong>离线策略评估</strong>（OPE）评估探索策略（见离线评估题）；(e) <strong>'探索成本'的度量</strong>（短期指标下降 vs 长期收益）。<strong>评估</strong>——(a) <strong>regret</strong>（理论指标）；(b) <strong>长期指标</strong>（留存/生态）；(c) <strong>新物品/长尾的曝光与表现</strong>；(d) <strong>短期指标的下降幅度</strong>（探索成本）。<strong>实践建议</strong>——(a) <strong>必须留探索流量</strong>（否则死循环）；(b) <strong>用 UCB/Thompson 而非盲目随机</strong>（更高效）；(c) <strong>上下文 bandit</strong>（个性化探索）；(d) <strong>按'物品成熟度'调探索强度</strong>（新物品多探索、成熟物品少探索）；(e) <strong>监控长期收益</strong>（探索的价值）。<strong>度量</strong>——(a) regret；(b) 新物品/长尾表现；(c) 长期指标；(d) 探索成本。

深度剖析与工程权衡：① <strong>'探索是打破死循环的唯一方式'</strong>——纯利用会让系统'越来越窄'；面试中能指出这一点是深度理解的标志。② <strong>'UCB 的乐观原则'很优雅</strong>——不确定性驱动探索（尝试少的臂上界高）。③ <strong>'Thompson Sampling 实践常优于 UCB'</strong>——虽然理论 regret 相近；这是'理论 vs 实践'的经典案例。④ <strong>'上下文 bandit 是推荐的标准形式'</strong>——引入上下文（用户/场景）做个性化探索。⑤ <strong>'按成熟度调探索强度'</strong>——新物品多探索、成熟物品少；这比'统一 ε'更高效。⑥ <strong>面试要点</strong>——被问'为什么要探索'，应给出'<strong>利用（短期最优）vs 探索（收集信息、打破死循环）+ 方法（ε-greedy/UCB/Thompson/上下文 bandit）+ regret</strong>'；能指出'Thompson 实践常优于 UCB'是深度理解的标志。