arXiv · Statistics Machine Learning· David Schnurr, Felix Sarnthein, Thomas Hofmann, Imanol Schlag·2026-09-30 12:00· 7 小时前AI 评分30

适配线性时间架构用于表格上下文学习

Adapting Linear-Time Architectures for Tabular In-Context Learning

AI 导读

DeltaNet 在表格上下文学习（ICL）中表现优于非因果线性注意力，但在预训练上下文长度 2-4 倍后性能退化。研究通过时间依赖衰减调度干预稳定其循环状态，并重新引入非因果读取，在 OpenML-CC18 和 TabArena 上接近 softmax 注意力基线。代码已公开。