N4Hard★ AI Infra 终面热点 · PD 分离Part N · 数据特征管道与生产系统算子
Prefill / Decode 分离式推理调度仿真 (DistServe / Mooncake)
模拟大模型 Prefill 计算密集池与 Decode 访存密集池解耦调度,消除长提示词 Pre-fill 打断流式解码引起的 TPOT 抖动。
⏱️ 时间复杂度:
O(R log R)💾 空间复杂度:
O(R)🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
def simulate_pd_disaggregation(requests: list, p_tps: float = 8000.0, d_tps_per_slot: float = 60.0, kv_bw_tok_per_s: float = 40000.0) -> list:
"""
Simulate Prefill/Decode disaggregated LLM serving vs coupled interference.
requests: list of (arrival_ms, prompt_tokens, gen_tokens).
Returns per-request (ttft_ms, total_ms) preserving zero prefill interference on active decode stream.
"""
p_free_ms = 0.0
out = []
for arr_ms, p_tok, d_tok in sorted(requests, key=lambda x: x[0]):
p_start =
prefill_dur = (p_tok / p_tps) * 1000.0
kv_xfer_dur = (p_tok / kv_bw_tok_per_s) * 1000.0
p_end = p_start + prefill_dur
p_free_ms = p_end
ttft_ms = (p_end - arr_ms) + kv_xfer_dur
decode_dur = (d_tok / d_tps_per_slot) * 1000.0
total_ms =
out.append((round(ttft_ms, 2), round(total_ms, 2)))
return out
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: 什么时候不建议做 Prefill/Decode 物理分离,继续用 Chunked Prefill 混部更划算?
💡
实战一句话记忆口诀
计算访存各归其池,RDMA 传 KV 计延迟,保 Decode 流式稳吐字
📐 核心数学公式与机理推导
### 为什么要做 Prefill-Decode Disaggregation?
传统混部调度(Co-located)中,一旦某个并发请求携带 16k 上下文进入 Prefill,就会独占 Tensor Core 数百毫秒,导致正在流式吐字的所有 Decode 请求 TPOT 出现毛刺雪崩;且 Prefill 需要算力极强配重并行,Decode 则受限于 HBM 显存带宽与大容量 Batch。
分离调度将计算拆分为两类异构集群:
代价是多出了跨节点异步传输 KV Cache 的网络开销 ,需借助 RDMA/NVLink 逐层流水线传输遮掩。
传统混部调度(Co-located)中,一旦某个并发请求携带 16k 上下文进入 Prefill,就会独占 Tensor Core 数百毫秒,导致正在流式吐字的所有 Decode 请求 TPOT 出现毛刺雪崩;且 Prefill 需要算力极强配重并行,Decode 则受限于 HBM 显存带宽与大容量 Batch。
分离调度将计算拆分为两类异构集群:
代价是多出了跨节点异步传输 KV Cache 的网络开销 ,需借助 RDMA/NVLink 逐层流水线传输遮掩。
🔄 张量维度与形状流转说明
requests (arrival, P_tok, D_tok) -> Prefill compute pool FIFO -> KV-xfer pipeline -> independent Decode slot TPOT
🛡️ 数值稳定性自检与边界要点
- 必须同时计入
kv_xfer_dur跨机传输延迟,不能假设分离后 KV 免费瞬移 - 若网络带宽成为瓶颈(如单千兆网无 RDMA),PD 分离反而劣化长上下文 TTFT
- 工程实现中常用逐层异步发送 KV Cache(Layer-wise Streaming Transfer)隐藏大部分传输开销
💻 完整参考代码实现
def simulate_pd_disaggregation(requests: list, p_tps: float = 8000.0, d_tps_per_slot: float = 60.0, kv_bw_tok_per_s: float = 40000.0) -> list:
"""
Simulate Prefill/Decode disaggregated LLM serving vs coupled interference.
requests: list of (arrival_ms, prompt_tokens, gen_tokens).
Returns per-request (ttft_ms, total_ms) preserving zero prefill interference on active decode stream.
"""
p_free_ms = 0.0
out = []
for arr_ms, p_tok, d_tok in sorted(requests, key=lambda x: x[0]):
p_start = max(arr_ms, p_free_ms)
prefill_dur = (p_tok / p_tps) * 1000.0
kv_xfer_dur = (p_tok / kv_bw_tok_per_s) * 1000.0
p_end = p_start + prefill_dur
p_free_ms = p_end
ttft_ms = (p_end - arr_ms) + kv_xfer_dur
decode_dur = (d_tok / d_tps_per_slot) * 1000.0
total_ms = ttft_ms + decode_dur
out.append((round(ttft_ms, 2), round(total_ms, 2)))
return out
🧪 本地测试与正确性断言
可直接复制到本地 Python / Jupyter 验证:
# Request 1 long prompt (8k tokens) + Request 2 short prompt: PD guarantees decode TPOT stability on D-pool
reqs = [(0.0, 8000, 100), (200.0, 500, 100)]
res = simulate_pd_disaggregation(reqs, p_tps=8000.0, d_tps_per_slot=50.0, kv_bw_tok_per_s=40000.0)
# Req 0: prefill=1000ms, kv=200ms -> ttft=1200ms, decode=2000ms -> total=3200ms
# Req 1: starts P at 1000ms, prefill=62.5ms, kv=12.5ms -> waits 800ms -> ttft=875.0ms
assert abs(res[0][0] - 1200.0) < 1e-6 and abs(res[0][1] - 3200.0) < 1e-6
assert abs(res[1][0] - 875.0) < 1e-6
print("✓ Prefill-Decode disaggregation simulator assertion passed")🎯 核心工程追问与标准应答
Q1:什么时候不建议做 Prefill/Decode 物理分离,继续用 Chunked Prefill 混部更划算?
当集群仅有单卡或缺乏高速 RDMA/NVLink 互联、或业务全部是 <500 Token 短文本客服时,Chunked Prefill(把长 Prefill 切成 512 token 小块与 Decode 交织)部署更简单且零网络传输代价。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!