I1Medium★ 工业基石 (核心高频)Part I · 推理生成、解码与量化

INT8 仿射与对称量化(Scale 与 Zero-Point)

⚡闪卡盲测➔

模型推理加速标配,浮点 FP32 到低位整数 INT8 的映射与反量化重构。

⏱️ 时间复杂度: O(N)
💾 空间复杂度: 显存压缩至原先的 1/4
🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
def quantize_int8_symmetric(x: np.ndarray) -> tuple:
"""对称量化 (零点 Z=0)"""
max_val =
scale = max_val / 127.0 if max_val > 0 else 1.0
q = np.clip(np.round(x / scale), -127, 127).astype(np.int8)
return q, float(scale)
def dequantize_int8_symmetric(q: np.ndarray, scale: float) -> np.ndarray:
"""对称反量化"""
return q.astype(np.float32) * scale
def quantize_int8_affine(x: np.ndarray) -> tuple:
"""非对称仿射量化 (适用于激活值全为正数如 ReLU/GELU 场景)"""
x_min, x_max = np.min(x), np.max(x)
if x_min == x_max:
return np.zeros_like(x, dtype=np.int8), 1.0, 0
scale = (x_max - x_min) / 255.0
zero_point = int(np.round(-x_min / scale) - 128)
q =
return q, float(scale), int(zero_point)
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: SmoothQuant 如何解决大语言模型(LLM)激活值中存在的异常离群点(Outliers)?
下一题: 大模型生成采样器(Temperature + Top-K + Top-P) →
💡

实战一句话记忆口诀

极值差除范围得台阶,浮点实数除以步长取整,对称零点定中心

📐 核心数学公式与机理推导

q=clip(round(xS)+Z,−128,127),x^=S⋅(q−Z)q = \mathrm{clip}\left(\mathrm{round}\left(\frac{x}{S}\right) + Z, -128, 127\right), \quad \hat{x} = S \cdot (q - Z)
### 线性均匀量化映射几何
将连续浮点张量 x∈[α,β]x \in [\alpha, \beta] 压缩至 8 位整型(INT8 范围 [−128,127][-128, 127] 或 UINT8 [0,255][0, 255]):
1. 缩放因子 $S$(Scale):每个整型量化步长所代表的真实浮点步距:
S=β−αqmax⁡−qmin⁡S = \frac{\beta - \alpha}{q_{\max} - q_{\min}}
2. 零点偏移 $Z$(Zero-Point):浮点实数 0.0 在整型空间所对应的整数坐标(确保实数 0.0 在量化后不产生误差,这对 Padding 补零极为关键):
Z=round(−αS)+qmin⁡Z = \mathrm{round}\left(- \frac{\alpha}{S}\right) + q_{\min}
3. 对称量化(Symmetric Quantization):强制令 α=−β=−max⁡(∣x∣)\alpha = -\beta = -\max(|x|),使得零点 Z=0Z = 0 恒成立,整型矩阵乘法无需计算零点偏移补偿,推理性能大幅提升(常用于权重量化)。

🔄 张量维度与形状流转说明

x (FP32) -> 查找 min/max -> 算 S 与 Z -> round(x/S)+Z -> clip(-128, 127) -> q (INT8)

🛡️ 数值稳定性自检与边界要点

  • scale 计算时若 max=min(常量数组),必须设安全默认 scale=1.0 防止除零
  • 反量化时必须先转回 float32 再做乘减法,否则在 int8 整数内做算术运算极易溢出翻转

💻 完整参考代码实现

import numpy as np

def quantize_int8_symmetric(x: np.ndarray) -> tuple:
    """对称量化 (零点 Z=0)"""
    max_val = np.max(np.abs(x))
    scale = max_val / 127.0 if max_val > 0 else 1.0
    q = np.clip(np.round(x / scale), -127, 127).astype(np.int8)
    return q, float(scale)

def dequantize_int8_symmetric(q: np.ndarray, scale: float) -> np.ndarray:
    """对称反量化"""
    return q.astype(np.float32) * scale

def quantize_int8_affine(x: np.ndarray) -> tuple:
    """非对称仿射量化 (适用于激活值全为正数如 ReLU/GELU 场景)"""
    x_min, x_max = np.min(x), np.max(x)
    if x_min == x_max:
        return np.zeros_like(x, dtype=np.int8), 1.0, 0
    scale = (x_max - x_min) / 255.0
    zero_point = int(np.round(-x_min / scale) - 128)
    q = np.clip(np.round(x / scale) + zero_point, -128, 127).astype(np.int8)
    return q, float(scale), int(zero_point)

🧪 本地测试与正确性断言

可直接复制到本地 Python / Jupyter 验证:

import numpy as np
x = np.linspace(-10.0, 10.0, 100)
q, scale = quantize_int8_symmetric(x)
x_recon = dequantize_int8_symmetric(q, scale)
# 量化误差最大不应超过半个量化台阶 scale/2
err = np.max(np.abs(x - x_recon))
assert err <= (scale / 2.0 + 1e-4)
print("✓ INT8 仿射与对称量化自测通过")

🎯 核心工程追问与标准应答

Q1:SmoothQuant 如何解决大语言模型(LLM)激活值中存在的异常离群点(Outliers)?
在大模型激活中,极少数特征通道的数值会异常放大数十倍,直接对激活做 INT8 会严重破坏整体精度。SmoothQuant 发现权重通常非常平滑,因此通过一个通道维度的平滑因子 ss,将激活的难度等价转移给权重:Y=(X⋅diag(s)−1)(diag(s)⋅W)Y = (X \cdot \mathrm{diag}(s)^{-1}) (\mathrm{diag}(s) \cdot W),使得激活与权重均可平稳执行 W8A8 量化。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
← 上一题: ZeRO-1/2/3 显存切分与每卡模型状态定量计算返回 Part I 与全部 105 题下一题: 大模型生成采样器(Temperature + Top-K + Top-P) →