arXiv · Machine Learning Theory· Sima Hashemi, Daniel Durstewitz, Georgia Koppe·· 3 小时前AI 评分30
循环神经网络通过可回收单元门控实现动力系统的持续学习
Continual Learning of Dynamical Systems in Recurrent Neural Networks through Recyclable Unit Gating
AI 导读
论文提出 Continually-Recyclable Unit-Gating（CRUG），在 Almost-Linear RNN 上实现持续动力系统重构（cDSR），通过可微分 L0 门控选择任务特定单元并回收未使用单元，在零遗忘的同时达成最强的重构-容量权衡。可定向连接允许后续任务复用早期表示而不影响已提交单元的动力学，在非线性与混沌系统序列上可靠学习，且任务共享相似动力学时前向迁移更显著。
来源：arXiv · Machine Learning Theory · arxiv.org