跳到正文
原文
arXiv · Databases· Maximilian B\"other, Josh Wills, Ties Robroek, Sonnet Xu, Paul Burstein, Daniel Zayas, Cody Blakeney, Siddharth Joshi, Haoli Yin, Rishabh Adiga, Haakon Mongstad, Luke Merrick, Pratyush Maini, Ari Morcos, Matthew Leavitt, Ana Klimovic, Bogdan Gaza·· 16 小时前AI 评分27

Zephon:为在线有状态基础模型数据加载管线提供弹性确定性

Zephon: Elastic Determinism for Online, Stateful Foundation Model Data Loading Pipelines

AI 导读

Zephon 是一款面向基础模型的数据加载器,支持在线、有状态管线,同时提供弹性确定性与高效的检查点恢复。它将全局流划分为与拓扑无关的 lane,序列化排序决策并并行化无状态工作,仅检查点有限的飞行中状态,使恢复成本不随训练进度增长。在文本与视觉-语言工作负载上,Zephon 实现了具有竞争力的吞吐量,并提供现有加载器对在线有状态管线所不具备的保证组合。

来源:arXiv · Databases · arxiv.org