⬅ AI 全产业总图/Layer 02 · 02. 算力、网络与云基础设施
2.3

2.3 高吞吐分布式存储、数据平面与 Checkpoint

Lustre、GPFS、Weka、VAST Data 全闪存储架构、NVMe-oF、GPUDirect Storage (GDS) 零拷贝传输与多 TB 级权重秒级 Checkpoint 持久化。

并行文件系统与分布式存储引擎

支持大模型千卡并发读取:Lustre、IBM GPFS (Storage Scale)、Weka 矩阵文件系统、VAST Data (DASE 存算分离)、NVMe-oF 与全闪 POSIX 元数据横向扩展。

🏢 标杆代表企业
VAST Data、Pure Storage、WekaIO、DDN、AWS (FSx)、Microsoft Azure
🛠️ 核心技术栈
LustreGPFS / Storage ScaleWekaVAST DataNVMe-oFPOSIX FilesystemMetadata Scaling
💼 典型岗位与薪资
Storage Engineer、Distributed Systems Engineer、Data Infrastructure Engineer
💰 $195K - $410K / 年 (AI 分布式存储) | ¥50W - ¥125W / 年
📚 先决掌握技能:分布式存储一致性与复制算法 • Lustre / GPFS 并行文件系统架构 • NVMe-over-Fabrics (NVMe-oF) 协议 • 高并发元数据服务器 (MDS) 调优

GPUDirect Storage、分层缓存与 Checkpoint 极速持久化

NVIDIA GPUDirect Storage (GDS 绕过 CPU 内存直通 NVMe)、跨层分层缓存 (DRAM/NVMe/Object)、多 TB 级大模型权重秒级快照与无损异步 Checkpoint 流水线。

🏢 标杆代表企业
VAST Data、Pure Storage、WekaIO、MinIO、Google Cloud、AWS
🛠️ 核心技术栈
GPUDirect Storage (GDS)Checkpoint IOMulti-tier CachingZero-Copy IOMinIOData Locality
💼 典型岗位与薪资
Storage Engineer、I/O Performance Engineer、Distributed Systems Engineer
💰 $190K - $400K / 年 (I/O 优化与存储引擎) | ¥48W - ¥120W / 年
📚 先决掌握技能:GPUDirect Storage (cuFile API) 原理 • 大模型 Checkpoint 异步写入机制 • Linux Page Cache 与 Direct I/O 调优 • 对象存储 S3 协议与分层生命周期