Together AI 内核团队如何用 FlashAttention 和 ThunderKittens 重塑 AI 基础设施

Together AI 的内核团队在 2022 年阵亡将士纪念日假期发布 FlashAttention，实现 2–3 倍加速。2025 年 3 月团队约 15 人，用一周时间基于 ThunderKittens 在 Blackwell 上开发出比 cuBLAS 快 2 倍的 FP4/FP8 GEMM 内核。团队采用学术与产业协同模式，成员来自 UCSD、普林斯顿、Caltech 等。