P2MediumPart P · MLE 生产工程与数据校准算子

Token 预算与条数双约束动态组批器(RAG 批量 Embedding 队列)

⚡闪卡盲测➔

实现按「最大文档条数 + 最大总 Token 显存预算」双重边界切分的微批组包器,防止长文档混入固定 Batch Size 引发 GPU OOM。

⏱️ 时间复杂度: O(N)
💾 空间复杂度: O(N)
🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
def pack_token_bounded_batches(doc_tokens: list[int], max_batch_items: int, max_batch_tokens: int) -> list[list[int]]:
batches: list[list[int]] = []
cur_batch: list[int] = []
cur_tokens = 0
for idx, tok in enumerate(doc_tokens):
t =
if t > max_batch_tokens:
if cur_batch:
batches.append(cur_batch)
cur_batch, cur_tokens = [], 0
batches.append([idx])
continue
if cur_batch and (len(cur_batch) >= max_batch_items or cur_tokens + t > max_batch_tokens):
batches.append(cur_batch)
cur_batch, cur_tokens = [], 0
cur_batch.append(idx)
cur_tokens += t
if cur_batch:
batches.append(cur_batch)
return batches
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: 生产环境批量跑 1000 万段文本向量化,怎样能把 GPU 利用率翻倍?
Q2: 异步生产者速度远快于 Embedding Worker 时为什么不能用无界 Queue?
下一题: ONNX / FP16 / INT8 导出精度等价性审计(Cosine + Top-K Overlap) →
💡

实战一句话记忆口诀

双阈值看条数也看 Token,超标长文孤立发,排序分桶减 Padding

📐 核心数学公式与机理推导

$$\text{batches} = \left\lceil \frac{\sum_{i \in B} \text{tokens}_i \le T_{\max} \land |B| \le B_{\max}}{\text{flush}} \right\rceil$$
向量模型或 Reranker 前向激活显存取决于 batch×max_len\text{batch} \times \text{max\_len},若只按固定条数 batch_size=64 分批,一旦遇到 64 篇超长 PDF 会瞬间 OOM,而全短句又浪费 GPU 利用率。引入 Token Budget 双约束流式装箱,单篇超标文档独立成单批并触发截断保护。

🔄 张量维度与形状流转说明

doc_tokens: List[int] -> List[List[doc_indices]] respecting max_items & max_tokens

🛡️ 数值稳定性自检与边界要点

  • 单条文档本身 token 数超过 max_batch_tokens 时绝不能死循环或丢弃,需单独隔离输出或切片
  • 入 GPU 前按批内最大长度做动态 Padding(甚至可事先按长度排序 buckets 再分组以省掉 50% 无效 Padding 计算)
  • 配合有界队列(Bounded Queue Backpressure)防止生产者速率远超 GPU 消费导致主机内存爆仓

💻 完整参考代码实现

def pack_token_bounded_batches(doc_tokens: list[int], max_batch_items: int, max_batch_tokens: int) -> list[list[int]]:
    batches: list[list[int]] = []
    cur_batch: list[int] = []
    cur_tokens = 0
    for idx, tok in enumerate(doc_tokens):
        t = max(1, int(tok))
        if t > max_batch_tokens:
            if cur_batch:
                batches.append(cur_batch)
                cur_batch, cur_tokens = [], 0
            batches.append([idx])
            continue
        if cur_batch and (len(cur_batch) >= max_batch_items or cur_tokens + t > max_batch_tokens):
            batches.append(cur_batch)
            cur_batch, cur_tokens = [], 0
        cur_batch.append(idx)
        cur_tokens += t
    if cur_batch:
        batches.append(cur_batch)
    return batches

🧪 本地测试与正确性断言

可直接复制到本地 Python / Jupyter 验证:

toks = [100, 120, 90, 500, 50, 50]
res = pack_token_bounded_batches(toks, max_batch_items=2, max_batch_tokens=250)
assert res == [[0, 1], [2], [3], [4, 5]], f'Got {res}'
print('P2 PASS')

🎯 核心工程追问与标准应答

Q1:生产环境批量跑 1000 万段文本向量化,怎样能把 GPU 利用率翻倍?
长度感知分桶(Length-Bucketing):每积攒 2000 条先把文档按长度排序后再用 Token 预算组批,把长短差异巨大的文本拆开批处理,可将 Attention 计算中的 Padding 浪费从 60% 压到 5% 以内。
Q2:异步生产者速度远快于 Embedding Worker 时为什么不能用无界 Queue?
无界队列会在下游 GPU 卡顿时无限积压文本 Payload 导致 OOM 崩溃;必须使用有界队列施加背压(Backpressure)或持久化到 Kafka。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
← 上一题: 训练-推理特征漂移审计(手写双样本 KS 检验算子)返回 Part P 与全部 105 题下一题: ONNX / FP16 / INT8 导出精度等价性审计(Cosine + Top-K Overlap) →