二阶循环模型实现无限上下文窗口
Get the story
2026年10月9日，arXiv Machine Learning Theory 发布论文，提出一种二阶循环模型，用由偏微分方程支配的空间演化场替代传统神经元间通信，使结构化时空模式充当隐式高容量记忆。论文称该模型等价于结构化无限阶 RNN，当前状态显式依赖全部历史状态，以固定参数量实现有效无界感受野，并通过构造性条件保证边缘稳定、消除梯度消失与爆炸。在 long-horizon benchmarks 上，该架构以更少参数优于其他循环模型。目前进展为论文已公开，尚未见后续独立验证或应用报道。
Generated from reports · updated 3 hr ago
Timeline
Follow the coverage from different angles.
- arXiv · Machine Learning Theory通过空间神经计算在循环架构中学习无限上下文窗口
论文提出一种二阶循环模型，用由偏微分方程支配的空间演化场替代传统神经元间通信，使结构化时空模式充当隐式高容量记忆。该模型等价于结构化无限阶 RNN，当前状态显式依赖全部历史状态，以固定参数量实现有效无界感受野，并通过构造性条件保证边缘稳定、消除梯度消失与爆炸。在 long-horizon benchmarks 上，该架构以更少参数优于其他循环模型。
Heat trend
Current heat 9·Comparable peak 10（Oct 9）·Comparable change over 24 hours –
The trend compares only the same participants observed continuously; its range may be smaller than the current heat count. Move or click on the chart to inspect hourly heat; use the left and right arrow keys to switch.