长效留存延迟奖励

长效留存 RL 把次留/7 日留存/LTV 建模为延迟奖励 (delayed reward):当轮动作(如推荐某个内容)的真实回报要几天甚至几周后才能观测,于是引入折扣因子 $\gamma$ 建模跨期收益,长期目标 $J = \mathbb{E}[\sum_{t} \gamma^t r_t]$,$\gamma$ 越小越看重近期、越大越看重远期,与短期指标(如即时 CTR)形成权衡。延迟奖励带来 credit assignment 困难:回报难以归因到具体轮次/动作,常用解法是时序分解、代理奖励 (surrogate reward) 与序贯决策框架结合。

短视频/社交/游戏 App 的留存优化、订阅与广告的 LTV 建模、推荐系统"CTR 提升但留存下降"悖论的修正;面试常问"为什么只看 CTR 会伤害长期体验,折扣与延迟奖励如何修正"。

纯短期目标(CTR)会被点击诱饵/标题党利用,损害长期留存;把留存作为延迟奖励并用 $\gamma$ 折现后,策略学会牺牲部分即时指标换取更高长期价值,并用时序差分(自举)或蒙特卡洛归因缓解延迟反馈的方差,实现短期与长期指标的一致性。

检验攻克程度：针对「长效留存延迟奖励」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。