Online Metrics & Guardrails: 解释新颖效应（novelty effect）与首因效应。

Core Concept: 新颖效应：用户对新事物的好奇使短期指标虚高（长期回归）；首因效应：对变化的抵触使短期下降（长期回升）。

数学机理：<strong>两种'短期-长期不一致'的效应</strong>——(1) <strong>新颖效应（novelty effect）</strong>——(a) <strong>机制</strong>——用户对'新事物'（新界面/新算法）有<strong>好奇心</strong> → 短期点击/互动<strong>虚高</strong>；(b) <strong>时间曲线</strong>——短期上升 → 随熟悉度增加 → <strong>回归</strong>到基线（甚至更低）；(c) <strong>后果</strong>——(i) <strong>高估</strong>新策略的效果；(ii) 短期实验的结论<strong>不可靠</strong>；(d) <strong>例子</strong>——新的推荐算法'看起来新鲜' → 短期点击涨 → 几周后回落。(2) <strong>首因效应（primacy effect）</strong>——(a) <strong>机制</strong>——用户对'变化'有<strong>抵触</strong>（'我习惯原来的'）→ 短期指标<strong>下降</strong>；(b) <strong>时间曲线</strong>——短期下降 → 随适应 → <strong>回升</strong>（甚至超过基线）；(c) <strong>后果</strong>——(i) <strong>低估</strong>新策略的效果；(ii) 可能'错杀'好的改动；(d) <strong>例子</strong>——界面大改 → 短期 CTR 跌 → 用户适应后回升。(3) <strong>区分方法</strong>——(a) <strong>长周期实验</strong>——观察'效应随时间的变化曲线'；(b) <strong>'仅新用户'分析（new-user analysis）</strong>——<strong>关键技巧</strong>——(i) 新用户<strong>没有'旧习惯'</strong>（无首因效应）；(ii) 新用户也<strong>没有'熟悉旧版本'</strong>（无新颖效应）；(c) 故'仅新用户的效应'更接近'真实效应'；(d) <strong>注意</strong>——(i) 新用户与老用户的行为可能不同（外部效度）；(ii) 需要足够多的新用户。(c) <strong>分阶段观察</strong>——把实验期分成'第 1 周/第 2 周/...'，看效应是否稳定；(d) <strong>'切换实验'</strong>——交替处理，观察'切换时的变化'；(e) <strong>'holdout 组'</strong>——长期观察。(4) <strong>其他相关的'时间效应'</strong>——(a) <strong>学习效应</strong>——用户需要时间'学会使用'新功能（短期低估）；(b) <strong>'季节/周期'</strong>——需覆盖完整周期；(c) <strong>'外部事件'</strong>——干扰实验。<strong>与其他问题的关系</strong>——(a) 与'长期效应评估'（同一主题）；(b) 与'样本量/时长'（需更长实验）；(c) 与'存活偏差'（长期分析需处理）。<strong>实践建议</strong>——(a) <strong>观察'效应随时间'的曲线</strong>（不要只看平均）；(b) <strong>'仅新用户'分析</strong>（排除新颖/首因效应）；(c) <strong>长周期实验</strong>（覆盖适应期）；(d) <strong>分阶段报告</strong>（第 1 周 vs 第 4 周）；(e) <strong>holdout 组</strong>（长期）；(f) <strong>注意新老用户的外部效度</strong>。<strong>度量</strong>——(a) 效应随时间的曲线；(b) 新用户 vs 老用户的效应；(c) 长期指标（holdout）。

深度剖析与工程权衡：① <strong>'仅新用户分析'是排除新颖/首因效应的关键技巧</strong>——面试中能指出这一点是深度理解的标志。② <strong>'新颖效应高估、首因效应低估'</strong>——两者的方向相反；需区分。③ <strong>'观察效应随时间的曲线'</strong>——不要只看平均值。④ <strong>'新用户分析的外部效度'</strong>——新老用户行为不同；故需谨慎外推。⑤ <strong>'学习效应'</strong>——用户需要时间学会使用；短期低估。⑥ <strong>面试要点</strong>——被问'为什么短期实验不可靠'，应给出'<strong>新颖效应（高估）+ 首因效应（低估）+ 仅新用户分析 + 长周期 + 分阶段报告</strong>'；能指出'仅新用户分析'是深度理解的标志。