02. 算力、网络与云基础设施
把万卡底层芯片通过无阻塞高速网络与分布式存储组织成支撑大模型训练与推理的高性能超算集群与云控制面。
2.1 AI 集群工程与 GPU Fleet 运维
万卡 GPU 超算集群、Rack-Scale 拓扑架构、导轨优化 (Rail-Optimized)、DCGM 实时监控、MIG 硬件切分与 Fleet 故障自愈自动化。
万卡 GPU 超算集群与拓扑架构
Rack-Scale GPU 架构、Fat-Tree 胖树无阻塞拓扑、Rail-Optimized 导轨网络、硬件故障域隔离与万卡扩展效率 (Scaling Efficiency) 调优。
GPU Fleet 自动化运维与节点健康管理
NVIDIA DCGM 实时遥测、MIG 多租户硬件切分、裸机自动化供应 (Bare-metal Provisioning)、固件生命周期管理与异常节点自动隔离修复。
2.2 AI 互联织网、RDMA 与光通信网络
NVLink/NVSwitch 域、InfiniBand NDR/XDR、RoCEv2 无损以太网、PFC/ECN 拥塞控制、NCCL 集合通信调优与 800G/1.6T 高速光通信模块。
NVLink 与 InfiniBand / RoCE RDMA 高速网络
片间 1.8TB/s NVLink 互联、跨节点 RDMA 零拷贝通信、PFC 优先级流控、ECN/DCQCN 拥塞控制、NCCL 集合通信算子 (AllReduce/All-to-All) 与 DPU 硬件加速。
800G/1.6T 高速光通信与网络遥测
800G/1.6T 单波/多波光模块 (OSFP/QSFP-DD)、共封装光学 (CPO)、硅光 (Silicon Photonics)、Switch Telemetry (INT 带内遥测) 与链路误码率 (BER) 实时监控。
2.3 高吞吐分布式存储、数据平面与 Checkpoint
Lustre、GPFS、Weka、VAST Data 全闪存储架构、NVMe-oF、GPUDirect Storage (GDS) 零拷贝传输与多 TB 级权重秒级 Checkpoint 持久化。
并行文件系统与分布式存储引擎
支持大模型千卡并发读取:Lustre、IBM GPFS (Storage Scale)、Weka 矩阵文件系统、VAST Data (DASE 存算分离)、NVMe-oF 与全闪 POSIX 元数据横向扩展。
GPUDirect Storage、分层缓存与 Checkpoint 极速持久化
NVIDIA GPUDirect Storage (GDS 绕过 CPU 内存直通 NVMe)、跨层分层缓存 (DRAM/NVMe/Object)、多 TB 级大模型权重秒级快照与无损异步 Checkpoint 流水线。
2.4 云算力调度、多租户与控制面编排
Kubernetes (GPU Operator/Kueue/Volcano)、Slurm 批处理队列、Ray 分布式执行、Gang Scheduling 协同调度、MIG 多租户与 FinOps 算力成本治理。
Kubernetes & Slurm GPU 集群调度与编排
NVIDIA GPU Operator 自动化纳管、Kueue / Volcano 队列管理、Slurm HPC 批处理作业调度、Gang Scheduling 全量就绪调度与 GPU 拓扑感知放置 (Topology-Aware Placement)。
Ray 分布式执行、多租户隔离与 FinOps 成本优化
Ray Core / KubeRay 弹性分布式计算图、Run:ai 动态算力池化、MIG 细粒度硬件切分、Fair-share 配额与 Spot/抢占实例 FinOps 成本治理。