Adam 优化器距离自然梯度下降有多远？

summary_zh: 研究将 Adam 完整更新规则视为对角经验 Fisher 近似，在四种损失曲面上测量其与自然梯度下降的几何偏差。在良态设定下偏差较低， ill-conditioned 和小型神经网络中偏差可达约 10³，但 Adam 仍能收敛到低损失。