Decoupled DiLoCo：分布式 AI 训练的新前沿

Google DeepMind 提出 Decoupled DiLoCo 分布式训练架构，将训练拆分为异步计算岛以隔离硬件故障。实验表明，该架构在 2-5 Gbps 广域网上训练 120 亿参数模型，性能与传统方法持平且速度快 20 倍以上，并能混合不同代 TPU 硬件。