Meta Engineering · AI·· 2026-08-04精选AI 评分71
Meta GEM 训练：如何将广告推荐基础模型效率在 LLM 规模下翻倍
GEM Training: How Meta Doubled the Efficiency of Its LLM-Scale Ads Foundation Model
AI 导读
Meta 发布 GEM 训练细节，通过定制推荐内核库、混合超低精度训练、拓扑感知 5D 并行与 SM-free 通信等协同设计，将端到端训练效率翻倍至 20–25% MFU，并在 12 个月内将训练 FLOPs 扩展 4 倍。
推荐理由
Meta 分享了 GEM 在 LLM 规模下训练推荐模型的具体方法，为跨推荐与 LLM 的基础设施协同设计提供可迁移经验。
来源：Meta Engineering · AI · engineering.fb.com