arXiv · Machine Learning Theory· Arda Fazla, Antesh Upadhyay, Ege C. Kaya, M. Berk Sahin, Abolfazl Hashemi·· 16 小时前AI 评分30
自适应批处理为何助力 LLM 预训练：来自无界方差的视角
Why Does Adaptive Batching Help LLM Pretraining? A Perspective from Unbounded Variance
AI 导读
论文提出广义 BG-a 噪声模型，以可调增长指数在有界方差（a=0）与 BG-0 噪声（a=2）之间插值，解释 LLM 预训练中增大批量的收益。在 L-smoothness 下给出随增长变化的 oracle 复杂度下界 Ω(ε^{-(4+a)}) 及匹配上界，并设计通过动态调整批量控制方差增长的自适应批调度器。
来源：arXiv · Machine Learning Theory · arxiv.org