Second-Moment Stochastic Approximation Methods

本文研究同时使用一阶矩和二阶矩估计的随机逼近方法，涵盖 Adam 和 Muon 等现代深度学习优化器。通过最优预条件化视角推导方法，并建立两阶段收敛分析框架，利用 Dvoretzky 定理证明实用方法几乎必然收敛到目标解邻域，邻域半径取决于矩估计器的偏差和方差。