广义BG-a噪声模型与自适应批调度助力LLM预训练
Get the story
2026年10月5日，arXiv Machine Learning Theory（一手来源）发表论文《自适应批处理为何助力LLM预训练：来自无界方差的视角》。论文提出广义BG-a噪声模型，通过可调增长指数在有界方差（a=0）与BG-0噪声（a=2）之间插值，用于解释LLM预训练中增大批量的收益。在L-smoothness假设下，给出随增长变化的oracle复杂度下界Ω(ε^{-(4+a)})及匹配上界，并设计通过动态调整批量控制方差增长的自适应批调度器。目前进展为该模型与调度器的理论框架已发表，后续尚无实证或应用报道。
Generated from reports · updated 16 hr ago
Timeline
Follow the coverage from different angles.
- arXiv · Machine Learning Theory自适应批处理为何助力 LLM 预训练：来自无界方差的视角
论文提出广义 BG-a 噪声模型，以可调增长指数在有界方差（a=0）与 BG-0 噪声（a=2）之间插值，解释 LLM 预训练中增大批量的收益。在 L-smoothness 下给出随增长变化的 oracle 复杂度下界 Ω(ε^{-(4+a)}) 及匹配上界，并设计通过动态调整批量控制方差增长的自适应批调度器。
Heat trend
Current heat 7·Comparable peak 10（Oct 5）·Comparable change over 24 hours –
The trend compares only the same participants observed continuously; its range may be smaller than the current heat count. Move or click on the chart to inspect hourly heat; use the left and right arrow keys to switch.