arXiv · Machine Learning Theory· Fujie Gao, Zuyue Zhang, Gang Sun·· 3 小时前AI 评分28
随机训练动力学中的选择性保留：重复强化与持续遗忘的统计支持机制
Learning Under Forgetting: Statistical Support-Selective Retention in Stochastic Training Dynamics
AI 导读
论文提出重复强化与持续遗忘（RPF）动力学框架，将遗忘视为选择机制而非失败模式。在独立特征模型中推导出暴露选择性存活定律和依赖支持的保留边界；在共享参数模型中证明遗忘对协方差模式进行谱滤波，保留强支持分量、抑制弱分量；在小步长与范数/编码近似下，RPF 动力学在数据拟合与存储成本之间产生隐式权衡，导向类 MDL 压缩。实验在标量记忆和非线性共享网络中验证了该强化-遗忘选择机制。
来源：arXiv · Machine Learning Theory · arxiv.org