跳到正文
热点事件持续更新

大规模推荐系统有效训练时间优化研究

1 篇报道1 个报道来源2 小时前 更新

先了解这件事

AI 综述

大规模推荐训练中生命周期开销导致仅 50-60% 的端到端时间用于新数据训练。作者提出覆盖全训练栈的优化方案,包括通信消除、管道重叠、动态形状处理、自动调优剪枝、可复用 PyTorch 2 编译缓存、异步检查点、独立模型发布和恢复成本降低。ETT% 在每个 benchmark 上平均提升 15.5%,最大工作负载达 85%,全集群从约 80% 提升至 90% 以上。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月2日
  1. arXiv · Information Retrieval
    大规模推荐系统有效训练时间优化

    大规模推荐训练中生命周期开销导致仅 50-60% 的端到端时间用于新数据训练。作者提出覆盖全训练栈的优化方案,包括通信消除、管道重叠、动态形状处理、自动调优剪枝、可复用 PyTorch 2 编译缓存、异步检查点、独立模型发布和恢复成本降低。ETT% 在每个 benchmark 上平均提升 15.5%,最大工作负载达 85%,全集群从约 80% 提升至 90% 以上。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。