Constrained Decoding & Structured Outputs: 解释约束解码（constrained decoding）的原理。

Core Concept: 在每个解码步把'不合语法的 token'的 logits 置为 −∞，使采样只落在合法 token 上，从而保证输出符合语法。

数学机理：<strong>约束解码（constrained decoding）</strong> 的原理——把'输出必须符合某语法'转化为'在每个解码步只允许合法 token'。具体地：<strong>(1) 定义语法</strong>——用正则表达式、上下文无关文法（CFG）、或 JSON Schema 描述合法输出。(2) <strong>构建自动机</strong>——把语法编译为<strong>有限状态自动机（FSA）</strong>（对正则）或<strong>下推自动机（PDA）</strong>（对 CFG/JSON），跟踪'当前已生成前缀在语法中的状态'。(3) <strong>每步计算合法 token 集合</strong>——根据当前状态，计算'哪些 token 可以合法地接下去'（例如在 JSON 中'刚写完 key 的冒号'后只能接值的开头）。(4) <strong>掩码 logits</strong>——把非法 token 的 logits 设为 <strong>−∞</strong>（或极大负数），使 softmax 后其概率为 0。(5) <strong>采样</strong>——在合法 token 中按（重归一化的）概率采样。<strong>关键性质</strong>——(a) <strong>100% 符合语法</strong>（因为非法 token 概率为 0）；(b) <strong>不改变模型对合法 token 的相对偏好</strong>（掩码只'删掉'非法选项，不改合法选项的相对概率）——故约束解码是'在语法内取模型的偏好'，而非'重新训练模型'。<strong>为什么优于后处理</strong>——后处理（生成后再修复/校验）会 (a) 引入额外延迟、(b) 可能修复失败、(c) 需要重试；约束解码<strong>一次生成即合法</strong>。<strong>实现细节</strong>——(a) <strong>token 边界问题</strong>——语法是在<strong>字符级</strong>定义的，而模型输出<strong>token</strong>；故需把'合法字符集合'映射为'合法 token 集合'（需考虑 token 可能跨字符边界）；(b) <strong>多字节字符</strong>（中文、emoji）需特殊处理；(c) <strong>性能</strong>——每步都需计算合法 token 集合，开销可能显著（需优化：缓存、增量计算、预编译 FSA）。<strong>工具</strong>——(a) <strong>Outlines</strong>（用 FSA 做正则/JSON 约束）；(b) <strong>XGrammar</strong>（高性能语法引擎）；(c) <strong>llguidance</strong>；(d) <strong>Guidance / LMQL</strong>（模板语言）；(e) <strong>vLLM / SGLang</strong> 的内置支持。

深度剖析与工程权衡：① <strong>'约束解码不改变模型偏好'是关键性质</strong>——它保证'语法正确'不以'牺牲内容质量'为代价（只删除非法选项）；这与'微调教模型输出格式'不同（后者会改变分布）。② <strong>'token 边界问题'是实现难点</strong>——语法在字符级、输出在 token 级；需把'合法字符'映射为'合法 token'（且要考虑 token 跨字符边界的情况）；这是各家实现的核心技术差异。③ <strong>'性能开销'是主要工程挑战</strong>——朴素实现在每步都需遍历词表判断合法性（O(V) 每步），显著拖慢生成；故现代实现用 (a) <strong>预编译的 token 级掩码</strong>（预先算好各状态下合法的 token 集合）、(b) <strong>缓存</strong>、(c) <strong>增量更新</strong>（只更新受影响的部分）。XGrammar 等即为此优化。④ <strong>'语法正确 ≠ 语义正确'</strong>——约束解码保证<strong>格式</strong>（如 JSON 合法），但<strong>内容</strong>仍可能错误（如字段值错误）；故需与'内容校验'配合。⑤ <strong>'过强的约束会损害质量'</strong>——若约束过严（如强制极复杂的 schema），模型可能'被迫'生成低质量内容（因为它无法表达想表达的内容）；故 schema 设计应合理。⑥ <strong>'与函数调用的关系'</strong>——工具调用的参数必须符合 schema；约束解码是<strong>保证这一点的最可靠手段</strong>（比'prompt 要求输出 JSON'可靠得多）。故现代 Agent 框架普遍使用。