arXiv · Machine Learning Theory· Gongyue Zhang, Honghai Liu·· 5 小时前AI 评分39
单隐藏层 MLP 中逻辑与记忆的冲突：学习高阶交互
The Conflict Between Logic and Memory: Learning Higher-Order Interactions in Shallow MLPs
AI 导读
研究单隐藏层 MLP 在拟合训练数据时无法恢复生成规则的问题。在匹配阶数 sweep 中，SGD、Adam、Muon 在二阶达 100% 测试准确率，三阶分别为 96.25%、50.87%、76.82%，Muon 在四阶达 99.21%。冻结一阶权重连接独立 nuisance 输入后，AdamW 第 10 epoch 准确率从 44.73% 升至 95.07%。
来源：arXiv · Machine Learning Theory · arxiv.org