arXiv · Machine Learning Theory· Vishrut Goyal, Rohan Ramkumar·· 3 小时前AI 评分37
Spectrally Targeted Muon 优化器：只对部分奇异值正交化
Spectrally Targeted Muon
AI 导读
研究者提出 Spectrally Targeted Muon 优化器，仅对高于或低于阈值 τ 的奇异值做正交化，通过在平移 Gram 矩阵上运行 Newton-Schulz 迭代隔离相关奇异子空间，无需 SVD，并可在 normalized SGD 与 Muon 之间插值。
来源：arXiv · Machine Learning Theory · arxiv.org