跳到正文
热点事件持续更新

行归一化优化器在高维多分类中可优于 Adam 与 Muon

1 篇报道1 个报道来源2 小时前 更新

先了解这件事

AI 综述

2026年10月9日,arXiv 统计学与机器学习栏目发布论文《从几何到泛化:为何行归一化能胜过 Adam 与 Muon》。论文证明,在高维多分类设定中,行归一化可获得严格高于 full-batch Adam、random-reshuffling Adam 代理与 exact-SVD Muon 的总体准确率。作者将优势归因于其逐类欧氏几何渐近保留总体决策边界方向,而 Adam 的逐坐标几何与 Muon 的谱几何引入非零畸变。该结论在幂律谱与独立取向的类均值、测试噪声协方差下仍成立,合成实验与最后一层语言模型实验支持预测。目前未见后续报道或同行评议信息。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月9日
  1. arXiv · Statistics Machine Learning
    从几何到泛化:为何行归一化能胜过 Adam 与 Muon

    论文证明在高维多分类中,行归一化可获得严格高于 full-batch Adam、random-reshuffling Adam 代理与 exact-SVD Muon 的总体准确率。优势源于其逐类欧氏几何渐近保留总体决策边界方向,而 Adam 的逐坐标几何与 Muon 的谱几何引入非零畸变;该结论在幂律谱与独立取向的类均值、测试噪声协方差下仍成立,合成实验与最后一层语言模型实验支持预测。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。