arXiv · Neural and Evolutionary Computing· Yudou Tian, Neeraj Mohan Sushma, Harshvardhan Mestha, Nicolo Colombo, David Kappel, Anand Subramoney·· 4 hr agoAI score28
GRIL：线性循环网络如何在循环状态中通过梯度下降进行上下文学习
Learning in the Recurrent State: Gradient Descent with Linear Recurrent Networks
AI brief
论文提出 Gradient-based Recurrent In-context Learner（GRIL），一种对角线性循环网络（LRNN），把监督梯度步分解为短窗口叉积写入与下一查询的乘性读出。
Source: arXiv · Neural and Evolutionary Computing · arxiv.org