Outlines 状态机掩码硬解码

Outlines / 引导式生成 (Guided Generation) 是一种在本地开源大模型（如 vLLM, SGLang, HuggingFace）推理引擎中，通过正则表达式 (Regex) 构建确定性有限状态自动机 (Deterministic Finite Automaton, DFA) 或通过无上下文文法 (Context-Free Grammar, CFG) 引导 Logits 掩码的硬约束解码技术；在推理前，算法预先遍历模型词表建立状态转移表；在每步自回归采样时，直接在 GPU 显存中对不符合当前状态转移的所有非法 Token 的 Logits 施加 $-\infty$ 掩码，实现 100% 遵守正则表达式、JSON 或 SQL 语法规则。

开源大模型私有化部署、高并发结构化抽取接口 (vLLM / SGLang)、保证 SQL 语法合法、以及按特定正则表达式格式生成。

开源大模型即使经过微调，仍有 5%~15% 的概率产生非法 JSON 字符或格式越界；Outlines 的 FSM 掩码从数学上切断了所有非法路径，且预编译索引使每步掩码计算达到微秒级极速，推理吞吐几乎零损失。

推导正则表达式编译为确定性有限状态自动机 (DFA) 并映射至 Tokenizer 词表状态转移索引的完整流程？

为什么跨多 Token 词汇（如浮点数切分为多个子词）不会破坏 DFA 状态机的连续状态跟踪？

vLLM 与 SGLang 如何通过深度集成 Outlines / XGrammar 算子实现批量请求并发下的高效 GPU 共享掩码？

复杂的嵌套递归 JSON Schema 在编译为推导状态机 (Pushdown Automaton) 时的计算开销与内存优化？

当对输出施加强约束（如限制只能输出 'yes' 或 'no'）时，模型在受限分布下的校准概率 (Calibrated Probability) 如何提取？