DSP-066Product DSEXP📍 youtube
设计 A/B:control 是可 skip 的广告视频,test 是第一个广告不可 skip。考虑哪些 metrics、如何设计实验;unit of analysis 用 user 还是 video,为什么
📋 题目详细背景与场景
round 4: 有个SQL是用window function percentile的。找不到当时的笔记记不太清了,印象深刻的是设计一个ab testing的实验,control是可以skip的ads video,test是第一个ads不可以skip,问考虑哪些metrics,如何设计实验。讨论比较多的一点是我选的unit of analysis是user,他听完追问为什么不用video based,我说video的话control和test group会有inference,而且我选的metrics也都是user based的这样unit of analysis和unit of diversion一致variance小可以用常规方法,但不确定他是否满意我的答案。
📖 对应核心知识点手册:
想用苏格拉底式对话深入理解该考点的第一性原理?
进入破冰推演实验室,模拟考官互动并一步步拆解底层机制与直觉陷阱。
⚡
Test muscle memory on this topic via 3-Layer Flashcards
Active Recall: Mentally formulate Prompt ➔ Math Derivation ➔ Benchmark Implementation in 3 minutes.