M7-008HardAI 功能实验 · AI feature experiments
如何为一个 LLM 功能设计 A/B 测试?有哪些特殊处理?
How do you design an A/B test for an LLM feature? What is different?
💡 考场高分一句话答案:
按用户分流(不是按请求)、固定抽样做质量评审、把成本与 p95 延迟作护栏、观察窗拉长到 4 周。
Randomise by user, run a fixed-sampling quality review in parallel, make cost and p95 latency guardrails, and extend the window to four weeks.
📌 核心考察要点 (Key Points)
- 分流单位:user(保证体验一致、避免同一用户看到不同质量)
- 指标:任务成功率(人工/LLM 评审)+ 行为指标(采纳率、追问率)
- 护栏:cost per successful task、p95 延迟、有害输出率、过度拒答率
- 时长:至少 4 周,因为用户学习效应强
- Unit: user, so experience is consistent and learning effects are not contaminated
- Metrics: task success from human or LLM review, plus behavioural adoption and follow-up rates
- Guardrails: cost per successful task, p95 latency, harmful output rate, over-refusal rate
- Duration: at least four weeks because users learn how to prompt
⚖️ 业务权衡与取舍 (Trade-offs & Calibration)
LLM 实验的方差问题被低估:输出长度、温度、重试都会放大方差。降低方差的手段是按用户聚合(每个用户一个平均分)而不是把每次调用当独立样本,否则会把“同一用户的相似输出”当成独立证据,p 值虚小。
⚠️ 常见高频面试陷阱与避坑指南
- 按请求分流,导致同一用户体验不一致且污染学习效应
- 把每次 LLM 调用当独立样本做检验
🔍 大厂面试官连环追问 (Follow-ups)
- 如何估计 LLM 实验所需的样本量?
- 如果质量提升但采纳率不变,你怎么解释?
嫌字多看太累?进入苏格拉底式对话推演实验室
零打字负担,以大厂考官真实困境切入,通过点选直觉选项暴露思维盲区,手把手推导 Why。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!