arXiv · Machine Learning Theory· Thibaut Boissin (IRIT), Thomas Massena (IRIT, DTIPG - SNCF, UT3), Mathieu Serrurier (IRIT), Franck Mamalet·· 4 hr agoAI score27
Muon 优化器在卷积上理论上不成立，但实证有效
Muon Is Theoretically Wrong For Convolutions, But Empirically Effective
AI brief
研究指出 Muon 优化器对矩阵更新有清晰理论解释，但卷积核以四维张量存储，标准实现将其 reshape 成矩阵的做法破坏了其理论基础。
Source: arXiv · Machine Learning Theory · arxiv.org