arXiv · Machine Learning Theory· Vishrut Goyal, Rohan Ramkumar·· 4 hr agoAI score37
Spectrally Targeted Muon 优化器：只对部分奇异值正交化
Spectrally Targeted Muon
AI brief
研究者提出 Spectrally Targeted Muon 优化器，仅对高于或低于阈值 τ 的奇异值做正交化，通过在平移 Gram 矩阵上运行 Newton-Schulz 迭代隔离相关奇异子空间，无需 SVD，并可在 normalized SGD 与 Muon 之间插值。
Source: arXiv · Machine Learning Theory · arxiv.org