Together AI·· 20 天前精选AI 评分60
ThunderKittens 在 NVIDIA Vera Rubin NVL72 上新增 NVFP4/FP8 GEMM 支持
To Infinity and Beyond: ThunderKittens Now on NVIDIA Vera Rubin NVL72!
AI 导读
Together AI 内核团队在 Vera Rubin NVL72 上扩展 ThunderKittens，支持 NVFP4 与 FP8 GEMM，并通过双 K 步长、独占张量内存、更大共享内存、B 侧收集器与 Early A release 等优化，将 NVFP4 推至超 22 PFLOPS，与 cuBLAS 和 CuTE DSL 竞争。
推荐理由
原文给出了在 Vera Rubin 上优化 NVFP4/FP8 GEMM 的具体方法与性能数据，读者可迁移这些调优思路到自家 Rubin 部署。
来源：Together AI · together.ai