M7-008HardAI 功能实验 · AI feature experiments

如何为一个 LLM 功能设计 A/B 测试?有哪些特殊处理?

How do you design an A/B test for an LLM feature? What is different?
💡 考场高分一句话答案:

按用户分流(不是按请求)、固定抽样做质量评审、把成本与 p95 延迟作护栏、观察窗拉长到 4 周。

Randomise by user, run a fixed-sampling quality review in parallel, make cost and p95 latency guardrails, and extend the window to four weeks.

📌 核心考察要点 (Key Points)

  • 分流单位:user(保证体验一致、避免同一用户看到不同质量)
  • 指标:任务成功率(人工/LLM 评审)+ 行为指标(采纳率、追问率)
  • 护栏:cost per successful task、p95 延迟、有害输出率、过度拒答率
  • 时长:至少 4 周,因为用户学习效应强
  • Unit: user, so experience is consistent and learning effects are not contaminated
  • Metrics: task success from human or LLM review, plus behavioural adoption and follow-up rates
  • Guardrails: cost per successful task, p95 latency, harmful output rate, over-refusal rate
  • Duration: at least four weeks because users learn how to prompt

⚖️ 业务权衡与取舍 (Trade-offs & Calibration)

LLM 实验的方差问题被低估:输出长度、温度、重试都会放大方差。降低方差的手段是按用户聚合(每个用户一个平均分)而不是把每次调用当独立样本,否则会把“同一用户的相似输出”当成独立证据,p 值虚小。

⚠️ 常见高频面试陷阱与避坑指南

  • 按请求分流,导致同一用户体验不一致且污染学习效应
  • 把每次 LLM 调用当独立样本做检验

🔍 大厂面试官连环追问 (Follow-ups)

  • 如何估计 LLM 实验所需的样本量?
  • 如果质量提升但采纳率不变,你怎么解释?

嫌字多看太累?进入苏格拉底式对话推演实验室

零打字负担,以大厂考官真实困境切入,通过点选直觉选项暴露思维盲区,手把手推导 Why。

💬 开启对话式破冰 ➔
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔