arXiv · Statistics Machine Learning· Xuheng Li, Qiwei Di, Yuan Cao, Quanquan Gu·· 16 小时前AI 评分29
Muon 优化器为何更擅长学习事实：谱正交化的作用机制
Muon Learns Facts Better: Understanding the Role of Spectral Orthogonalization
AI 导读
一项研究通过可处理的事实召回模型解析 Muon 优化器的谱正交化机制，发现梯度流（GF）学习时间比为 $\widetilde{\Theta}(\sqrt{S/R})$，谱梯度流（Spectral GF）将其降至 $\widetilde{\Theta}(1)$。
来源：arXiv · Statistics Machine Learning · arxiv.org