arXiv · Machine Learning Theory· Aleix Salvador-Pomarol, Arthur N. Montanari, Earl K. Miller, Adilson E. Motter, Jorge Cort\'es·· 4 hr agoAI score39
通过空间神经计算在循环架构中学习无限上下文窗口
Learning infinite context windows in recurrent architectures via spatial neural computing
AI brief
论文提出一种二阶循环模型，用由偏微分方程支配的空间演化场替代传统神经元间通信，使结构化时空模式充当隐式高容量记忆。该模型等价于结构化无限阶 RNN，当前状态显式依赖全部历史状态，以固定参数量实现有效无界感受野，并通过构造性条件保证边缘稳定、消除梯度消失与爆炸。在 long-horizon benchmarks 上，该架构以更少参数优于其他循环模型。
Source: arXiv · Machine Learning Theory · arxiv.org