6.3
6.3 模型量化压缩与硬件兼容矩阵
Hopper/Blackwell 原生 FP8/NVFP4 张量计算、SmoothQuant/QuaRot 异常值抑制、AWQ 激活感知量化、KV Cache 量化与质量回归门禁。
原生 FP8 / NVFP4 计算与 SmoothQuant / GPTQ 权重量化
Ada/Hopper 原生 FP8 (E4M3/E5M2) 与 Blackwell NVFP4 细粒度 Block 量化计算、SmoothQuant 权重激活异常值迁移、GPTQ 逆 Hessian 误差补偿低比特量化与 GGUF 端侧多平台量化格式。
🏢 标杆代表企业
NVIDIA、MIT HAN Lab、Neural Magic、llama.cpp、Hugging Face
🛠️ 核心技术栈
FP8 (E4M3/E5M2)NVFP4SmoothQuantGPTQGGUFINT4Tensor Cores
💼 典型岗位与薪资
Quantization Engineer、Model Optimization Engineer、Inference Engineer
💰 $210K - $440K / 年 (量化算法与底层优化) | ¥60W - ¥140W / 年
📚 先决掌握技能:定点数/浮点数 (FP8 E4M3/E5M2/FP4) 二进制格式 • 矩阵量化缩放因子 (Scale / Zero-point) 计算 • GPTQ 逆 Hessian 矩阵泰勒展开误差最小化推导 • GGUF 跨平台量化权重打包与反量化 (Dequant)
激活感知 AWQ、KV Cache 量化与质量回归门禁
保护 Top-1% 敏感激活通道的 AWQ 权重剪裁、FP8/INT8 KV Cache 压缩 (显存占用砍半/并发翻倍)、Calibration 校准数据集规范与多任务基准质量回归自动化门禁 (Perplexity/MMLU/GSM8K) 及回退机制。
🏢 标杆代表企业
NVIDIA、MIT HAN Lab (AWQ)、AMD、Intel (OpenVINO)
🛠️ 核心技术栈
AWQKV Cache QuantizationCalibration DatasetPerplexity RegressionQuality GatesMMLUAccuracy Fallback
💼 典型岗位与薪资
Quantization Engineer、Evaluation Engineer、Inference Engineer
💰 $205K - $430K / 年 (量化评测与显存压缩) | ¥58W - ¥135W / 年
📚 先决掌握技能:激活异常值 (Activation Outliers) 分布特征分析 • Per-Channel / Per-Token / Per-Group 量化粒度选型 • KV Cache 量化反量化对注意力精度的影响分析 • 自动化困惑度 (Perplexity) 与基准评测流水线