arXiv · Information Retrieval· Mingming Ding, Ruilin Chen, Yuzhen Huang, Hang Qi, Menglu Yu, San Tan, Damian Reeves, Boris Sarana, Kevin Tang, Satendra Gera, Gagan Jain, Sahil Shah, Vishwa Karia, Fuzail Khan, Yashasvi Makin, Edward Z. Yang, Oguz Ulgen, Jia Chen Ren, Laith Sakka, Mayank Garg, Meet Vadakkanchery, Aici Lin, Wei Sun, Mengjiao Zhou, Shuai Yang, Junqing Zhou, Max Leung, Apoorv Purwar, Musharaf Sultan, John Bocharov, Zhenyu Tang, Vivek Trehan·· 7 小时前AI 评分36
大规模推荐系统有效训练时间优化
Optimizing Effective Training Time for Large-Scale Recommendation Systems
AI 导读
大规模推荐训练中生命周期开销导致仅 50-60% 的端到端时间用于新数据训练。作者提出覆盖全训练栈的优化方案，包括通信消除、管道重叠、动态形状处理、自动调优剪枝、可复用 PyTorch 2 编译缓存、异步检查点、独立模型发布和恢复成本降低。ETT% 在每个 benchmark 上平均提升 15.5%，最大工作负载达 85%，全集群从约 80% 提升至 90% 以上。
来源：arXiv · Information Retrieval · arxiv.org