Grokking through the Lens of Minimum-Norm Interpolation

2026-10-01，arXiv 发表统计机器学习研究，针对 grokking 中拟合训练数据与学习真实信号不同步的问题，建立基于正则化几何与信号稀疏性的统计理论。在高维回归设定下，稀疏促进正则化使精确插值比近似拟合更准确，并在强过参数化无噪声问题中证明零一泛化定律。实验在 diagonal linear networks 与 modular arithmetic 训练的 transformers 上验证了理论预测。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。