Q6HardPart Q · AI Infra 硬件算力与显存调度算子

推理网关防雪崩水线门控(KV 高水位拒载 + 高优抢占退避)

⚡闪卡盲测➔

模拟高负载推理调度器在 KV 显存逼近高水位或预估排队超时时的准入拒载(Load Shedding)与高优请求抢占(Preemption),避免全群连环 OOM 雪崩。

⏱️ 时间复杂度: O(N)
💾 空间复杂度: O(N)
🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
def kv_pressure_admission_gate(requests: list[dict], total_kv_blocks: int, watermark_ratio: float = 0.88, sla_ms: float = 1200.0) -> dict:
used_blocks = 0
queue_wait_ms = 0.0
admitted, preempted, rejected = [], [], []
limit =
for req in requests:
need = int(req["kv_blocks"])
prefill_ms = float(req["est_prefill_ms"])
prio = int(req.get("priority", 1))
if used_blocks + need <= limit and (queue_wait_ms + prefill_ms) <= sla_ms:
used_blocks += need
queue_wait_ms += prefill_ms
admitted.append(req["id"])
elif prio >= 2 and need <= total_kv_blocks and admitted:
evicted = admitted.pop()
preempted.append(evicted)
admitted.append(req["id"])
else:
rejected.append(req["id"])
return
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: vLLM 发生 KV Cache 耗尽抢占时,Swap Out 到主机内存和 Recomputation(丢弃再重算)该如何抉择?
Q2: 如果全网网关层只根据 HTTP QPS 限流,为什么推理服务依然会雪崩?
💡

实战一句话记忆口诀

留足 KV 安全水线,超时请求入口直接 429 拒绝,高优可抢占低优保健康

📐 核心数学公式与机理推导

$$\text{Admit}(r) \iff U_{\text{KV}} + K(r) \le \tau_{\text{high}} \land \text{EstQueueWait} + T_{\text{prefill}}(r) \le \text{SLA}_{p99}$$
连续批处理下若不设 KV 预留安全水线(如 88%)与 TTFT SLA 门禁,长生成请求不断膨胀会使全部并发卡在半路频繁 Preemption / Swap,导致全体请求 TTFT 与 P99 尾延迟暴涨数倍形成死亡螺旋。准入控制按「水线余量 + 排队超时预测」执行 429 早期快速拒载保护存量健康,并允许关键链路抢占低优任务。

🔄 张量维度与形状流转说明

incoming requests + total_kv_blocks -> admission / preemption / 429 load-shed decisions

🛡️ 数值稳定性自检与边界要点

  • 必须保留 10%~15% 显存安全垫给存量运行请求自回归吐字增长(每步新申请块)
  • 区别可重算 Recompute Preemption 与 Swap-to-CPU:小批重算常比 PCIe 来回搬迁 KV 更快
  • 返回 429 时附带 Retry-After 指导上游指数退避,切断重试放大器

💻 完整参考代码实现

def kv_pressure_admission_gate(requests: list[dict], total_kv_blocks: int, watermark_ratio: float = 0.88, sla_ms: float = 1200.0) -> dict:
    used_blocks = 0
    queue_wait_ms = 0.0
    admitted, preempted, rejected = [], [], []
    limit = int(total_kv_blocks * watermark_ratio)
    for req in requests:
        need = int(req["kv_blocks"])
        prefill_ms = float(req["est_prefill_ms"])
        prio = int(req.get("priority", 1))
        if used_blocks + need <= limit and (queue_wait_ms + prefill_ms) <= sla_ms:
            used_blocks += need
            queue_wait_ms += prefill_ms
            admitted.append(req["id"])
        elif prio >= 2 and need <= total_kv_blocks and admitted:
            evicted = admitted.pop()
            preempted.append(evicted)
            admitted.append(req["id"])
        else:
            rejected.append(req["id"])
    return {"admitted": admitted, "preempted": preempted, "rejected": rejected, "kv_util": round(used_blocks / max(total_kv_blocks, 1), 3)}

🧪 本地测试与正确性断言

可直接复制到本地 Python / Jupyter 验证:

reqs = [
  {"id": "r1", "kv_blocks": 50, "est_prefill_ms": 400, "priority": 1},
  {"id": "r2", "kv_blocks": 40, "est_prefill_ms": 400, "priority": 1},
  {"id": "r3", "kv_blocks": 30, "est_prefill_ms": 400, "priority": 1},
  {"id": "vip", "kv_blocks": 20, "est_prefill_ms": 200, "priority": 2},
]
out = kv_pressure_admission_gate(reqs, total_kv_blocks=100, watermark_ratio=0.90, sla_ms=1200)
assert out['rejected'] == ['r3'] and out['preempted'] == ['r2'] and 'vip' in out['admitted']
print('Q6 PASS')

🎯 核心工程追问与标准应答

Q1:vLLM 发生 KV Cache 耗尽抢占时,Swap Out 到主机内存和 Recomputation(丢弃再重算)该如何抉择?
若输出很长且 PCIe 宽带充裕选 Swap;但在现代 GPU 算力极强、Batch 较大且输入较短时,丢弃低优请求 KV 并在空出显存后一次性并行 Prefill 重算往往比慢速 PCIe Swap 延迟更低。
Q2:如果全网网关层只根据 HTTP QPS 限流,为什么推理服务依然会雪崩?
LLM 请求开销极度不均:1 个 32K Prompt + 4K Output 请求抵得上几百个短问句;必须按估算 KV 块占用与 Token 速率联合执行准入与限流。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
← 上一题: 端侧 GGUF / 消费卡推理显存与最大上下文窗口精确规划器返回 Part Q 与全部 105 题