浅层MLP中高阶交互学习的优化与干扰研究

1. 12:00
   arXiv · Machine Learning Theory

   单隐藏层 MLP 中逻辑与记忆的冲突：学习高阶交互

   研究单隐藏层 MLP 在拟合训练数据时无法恢复生成规则的问题。在匹配阶数 sweep 中，SGD、Adam、Muon 在二阶达 100% 测试准确率，三阶分别为 96.25%、50.87%、76.82%，Muon 在四阶达 99.21%。冻结一阶权重连接独立 nuisance 输入后，AdamW 第 10 epoch 准确率从 44.73% 升至 95.07%。

Current heat 9·Comparable peak 10（Oct 2）·Comparable change over 24 hours –

The trend compares only the same participants observed continuously; its range may be smaller than the current heat count. Move or click on the chart to inspect hourly heat; use the left and right arrow keys to switch.