Grokking through the Lens of Minimum-Norm Interpolation

该研究针对 grokking 现象中拟合训练数据与学习真实信号不同步的问题，建立了基于正则化几何与信号稀疏性的统计理论。在高维回归设定下，稀疏促进正则化使精确插值比近似拟合更准确，并在强过参数化无噪声问题中证明零一泛化定律。实验在 diagonal linear networks 和 modular arithmetic 训练的 transformers 上验证了理论预测。