跳到正文
原文
arXiv · Statistics Machine Learning· Jihwan Kim, Dogyoon Song, Chulhee Yun·· 3 小时前AI 评分36

从几何到泛化:为何行归一化能胜过 Adam 与 Muon

From Geometry to Generalization: Why Row Normalization Can Beat Adam and Muon

AI 导读

论文证明在高维多分类中,行归一化可获得严格高于 full-batch Adam、random-reshuffling Adam 代理与 exact-SVD Muon 的总体准确率。优势源于其逐类欧氏几何渐近保留总体决策边界方向,而 Adam 的逐坐标几何与 Muon 的谱几何引入非零畸变;该结论在幂律谱与独立取向的类均值、测试噪声协方差下仍成立,合成实验与最后一层语言模型实验支持预测。

来源:arXiv · Statistics Machine Learning · arxiv.org