arXiv · Statistics Machine Learning· Thomas Dybdahl Ahle, Yaroslav Bulatov, Christopher De Sa, Christopher R\'e·· 6 小时前AI 评分24
幂律谱条件下的随机优化：紧界与数据打乱分析
Stochastic Optimization Under Power-Law Spectra: Tight Bounds and Shuffling Analysis
AI 导读
该研究将幂律谱理论从确定性梯度下降扩展至随机梯度下降（SGD），证明相同谱指数支配随机动力学。对各向同性高斯数据，精确分析表明 Single Shuffle 严格优于 Flip-Flop 与 IID 采样。结果统一了谱理论与实际随机训练选择，揭示数据几何如何驱动优化速度。
来源：arXiv · Statistics Machine Learning · arxiv.org