Transformer Architecture Anatomy: 解释 Transformer 的表达能力与理论限制。

Core Concept: Transformer 是通用函数逼近器但受深度与精度限制；理论结果显示固定精度/深度下无法表达某些电路复杂度类，需对数深度或无限精度。

数学机理：<strong>正面结果</strong>——Yun 等 (2020) 证明 Transformer 是<strong>通用函数逼近器</strong>：在足够宽度/深度下，可逼近任意连续序列到序列函数（在紧集上）；Pérez 等 (2021) 证明带适当位置的 Transformer 在<strong>无限精度</strong>下是图灵完备的。<strong>限制结果</strong>——(1) <strong>电路复杂度视角</strong>：Hahn (2020) 与 Merrill 等证明，<strong>常数深度、常数精度</strong>的 Transformer 属于 <strong>TC⁰</strong> 复杂度类（可用常数深度、多项式大小的阈值电路计算的问题），而某些问题（如<strong>图连通性</strong>、<strong>多数投票</strong>的精确版本、<strong>奇偶校验</strong>）不在 TC⁰ 中，故<strong>常数深度的 Transformer 无法解决</strong>。这解释了'为什么模型难以精确做算术/多步推理'。(2) <strong>精度限制</strong>：有限浮点精度使长序列的注意力累加误差累积，影响'复制长串'等任务。(3) <strong>位置编码限制</strong>：绝对位置编码的外推性差，导致长度泛化失败。<strong>突破限制的途径</strong>：<strong>(a) 增加深度</strong>——深度 L 的 Transformer 可表达 L 步串行计算（深度换串行步数）；<strong>(b) 思维链（CoT）</strong>——用生成的中间 token 作为'外部工作记忆'，把串行计算从'网络深度'搬到'序列长度'，使常数深度网络能完成多步推理（这正是 CoT 提升推理能力的理论解释：<strong>序列长度换深度</strong>）；<strong>(c) 循环/递归结构</strong>（Universal Transformer、looped Transformer）——让同一组层反复应用以模拟更深计算。

深度剖析与工程权衡：① <strong>'常数深度'是关键前提</strong>——限制结论依赖'深度不随输入长度增长'；若允许深度 ∝ 输入长度，表达力可大幅提升（可解更多问题）。这解释了'为什么扩大深度对推理能力有帮助'。② <strong>CoT 的理论地位</strong>——Merrill & Sabharwal 等的工作表明：CoT 让 Transformer 的表达力从 TC⁰ 提升到 <strong>P</strong>（多项式时间可解问题类）甚至更高（取决于 CoT 长度），因为生成的 token 充当了'串行计算的寄存器'。这是'提示工程'能被理论支撑的少数例子。③ <strong>注意力与'复制'</strong>——简单任务（如复制输入、按位置检索）单层注意力即可完成（归纳头），而'组合推理'需要多层；这解释了'浅层学模式、深层学推理'的经验观察。④ <strong>理论限制与工程现实的差距</strong>——虽然理论上有 TC⁰ 限制，但实际模型通过 (a) 大量数据学习近似、(b) CoT、(c) 工具调用（计算器、代码执行）绕过限制；故'理论不可解'不等于'实践不可用'。⑤ <strong>与检索/外部记忆的关系</strong>——把'精确记忆与查找'交给外部存储（RAG）、把'精确计算'交给工具，是绕过表达力限制的工程路线；这使 Transformer 成为'推理引擎'而非'全能计算器'。⑥ <strong>面试要点</strong>——被问'Transformer 的局限'，应能提到'<strong>常数深度 + 有限精度 → TC⁰ 限制 → 某些问题不可解</strong>'，并给出'<strong>深度/CoT/循环/工具</strong>'四条突破路径；这是少数能把理论与工程连起来的回答，极具区分度。