模型权重与检查点存储

模型权重与检查点存储。Safetensors 把张量数据与其布局元数据分离: 一个 JSON 头部描述每个张量的名称、形状、类型与字节偏移, 其后紧跟原始张量字节, 可 mmap 零拷贝加载; 而 PyTorch 默认的 `torch.save` 是 pickle 序列化, 反序列化会执行对象 `__reduce__` 携带的任意代码, 存在远程代码执行 (RCE) 风险。检查点格式: 单文件简单但保存/恢复粒度粗, 大模型常用分片 (sharded checkpoint, 每 rank/层组一个分片 + index.json 索引) 并行读写。模型仓库 (Model Registry, 如 Hugging Face Hub 式): 模型卡片 (Model Card) 记录用途、限制、数据与训练信息, 版本不可变, 支持回滚与灰度。权重体积与加载时间估算: FP16 权重 $S = 2 \times N_{\text{params}}$ 字节, 加载时间 $T = S / B$ ($B$ 为 IO 带宽), 如 70B 模型 $S \approx 140\,\text{GB}$, 12GB/s 的 PCIe 需约 12 秒。

权重达几 GB~几百 GB, 需要高效加载与安全分发; 生产环境多版本并存、上线/回滚与审计; 面试常问 Safetensors 为什么比 pickle 快且安全、大模型检查点怎么组织、模型仓库如何支撑版本管理。

对比 pickle: 反序列化整个对象图慢, 且存在任意代码执行面, 跨 Python/PyTorch 版本兼容差; Safetensors 只加载所需张量(惰性加载)、mmap 零拷贝、无代码执行面, 百 GB 权重可秒级加载。对比手动复制权重文件: 仓库式不可变版本 + 原子切换让回滚可审计、可灰度, 避免「权重被覆盖后无法还原」的生产事故。

Safetensors 与 pickle 的区别? 为什么用 pickle 反序列化模型权重不安全?

Safetensors 为什么加载更快? mmap 零拷贝与惰性加载的原理是什么?

大模型检查点单文件 vs 分片 (sharded) 的取舍? 恢复时如何用 index 并行加载?

模型仓库 (Model Registry / HF Hub 式) 的核心能力? Model Card 应包含什么?

线上模型版本回滚如何设计? 不可变版本、原子发布与灰度如何配合?