arXiv · Machine Learning Theory· Robert Hu·2026-10-02 12:00· 5 小时前AI 评分33

Format-Aware Fusion for Fast FP4 Pretraining

AI 导读

本文提出 format-aware fusion 方法，通过协同设计量化生产者与规模域、消费者布局，在 native \mxfp{}、global \nvfp{} 和 cooperative-thread-array-local \nvfp{} 上加速 FP4 预训练。