I1Medium★ 工业基石 (核心高频)Part I · 推理生成、解码与量化
INT8 仿射与对称量化(Scale 与 Zero-Point)
模型推理加速标配,浮点 FP32 到低位整数 INT8 的映射与反量化重构。
⏱️ 时间复杂度:
O(N)💾 空间复杂度:
显存压缩至原先的 1/4🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
def quantize_int8_symmetric(x: np.ndarray) -> tuple:
"""对称量化 (零点 Z=0)"""
max_val =
scale = max_val / 127.0 if max_val > 0 else 1.0
q = np.clip(np.round(x / scale), -127, 127).astype(np.int8)
return q, float(scale)
def dequantize_int8_symmetric(q: np.ndarray, scale: float) -> np.ndarray:
"""对称反量化"""
return q.astype(np.float32) * scale
def quantize_int8_affine(x: np.ndarray) -> tuple:
"""非对称仿射量化 (适用于激活值全为正数如 ReLU/GELU 场景)"""
x_min, x_max = np.min(x), np.max(x)
if x_min == x_max:
return np.zeros_like(x, dtype=np.int8), 1.0, 0
scale = (x_max - x_min) / 255.0
zero_point = int(np.round(-x_min / scale) - 128)
q =
return q, float(scale), int(zero_point)
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: SmoothQuant 如何解决大语言模型(LLM)激活值中存在的异常离群点(Outliers)?
💡
实战一句话记忆口诀
极值差除范围得台阶,浮点实数除以步长取整,对称零点定中心
📐 核心数学公式与机理推导
### 线性均匀量化映射几何
将连续浮点张量 压缩至 8 位整型(INT8 范围 或 UINT8 ):
1. 缩放因子 $S$(Scale):每个整型量化步长所代表的真实浮点步距:
2. 零点偏移 $Z$(Zero-Point):浮点实数 0.0 在整型空间所对应的整数坐标(确保实数 0.0 在量化后不产生误差,这对 Padding 补零极为关键):
3. 对称量化(Symmetric Quantization):强制令 ,使得零点 恒成立,整型矩阵乘法无需计算零点偏移补偿,推理性能大幅提升(常用于权重量化)。
将连续浮点张量 压缩至 8 位整型(INT8 范围 或 UINT8 ):
1. 缩放因子 $S$(Scale):每个整型量化步长所代表的真实浮点步距:
2. 零点偏移 $Z$(Zero-Point):浮点实数 0.0 在整型空间所对应的整数坐标(确保实数 0.0 在量化后不产生误差,这对 Padding 补零极为关键):
3. 对称量化(Symmetric Quantization):强制令 ,使得零点 恒成立,整型矩阵乘法无需计算零点偏移补偿,推理性能大幅提升(常用于权重量化)。
🔄 张量维度与形状流转说明
x (FP32) -> 查找 min/max -> 算 S 与 Z -> round(x/S)+Z -> clip(-128, 127) -> q (INT8)
🛡️ 数值稳定性自检与边界要点
- scale 计算时若 max=min(常量数组),必须设安全默认 scale=1.0 防止除零
- 反量化时必须先转回 float32 再做乘减法,否则在 int8 整数内做算术运算极易溢出翻转
💻 完整参考代码实现
import numpy as np
def quantize_int8_symmetric(x: np.ndarray) -> tuple:
"""对称量化 (零点 Z=0)"""
max_val = np.max(np.abs(x))
scale = max_val / 127.0 if max_val > 0 else 1.0
q = np.clip(np.round(x / scale), -127, 127).astype(np.int8)
return q, float(scale)
def dequantize_int8_symmetric(q: np.ndarray, scale: float) -> np.ndarray:
"""对称反量化"""
return q.astype(np.float32) * scale
def quantize_int8_affine(x: np.ndarray) -> tuple:
"""非对称仿射量化 (适用于激活值全为正数如 ReLU/GELU 场景)"""
x_min, x_max = np.min(x), np.max(x)
if x_min == x_max:
return np.zeros_like(x, dtype=np.int8), 1.0, 0
scale = (x_max - x_min) / 255.0
zero_point = int(np.round(-x_min / scale) - 128)
q = np.clip(np.round(x / scale) + zero_point, -128, 127).astype(np.int8)
return q, float(scale), int(zero_point)
🧪 本地测试与正确性断言
可直接复制到本地 Python / Jupyter 验证:
import numpy as np
x = np.linspace(-10.0, 10.0, 100)
q, scale = quantize_int8_symmetric(x)
x_recon = dequantize_int8_symmetric(q, scale)
# 量化误差最大不应超过半个量化台阶 scale/2
err = np.max(np.abs(x - x_recon))
assert err <= (scale / 2.0 + 1e-4)
print("✓ INT8 仿射与对称量化自测通过")🎯 核心工程追问与标准应答
Q1:SmoothQuant 如何解决大语言模型(LLM)激活值中存在的异常离群点(Outliers)?
在大模型激活中,极少数特征通道的数值会异常放大数十倍,直接对激活做 INT8 会严重破坏整体精度。SmoothQuant 发现权重通常非常平滑,因此通过一个通道维度的平滑因子 ,将激活的难度等价转移给权重:,使得激活与权重均可平稳执行 W8A8 量化。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!