热点事件持续更新
适配线性时间架构用于表格上下文学习
1 篇报道1 个报道来源6 小时前更新
先了解这件事
AI 综述
研究探索线性时间架构在表格上下文学习（ICL）中的应用，发现 DeltaNet 在该任务上优于非因果线性注意力，但在预训练上下文长度增至 2-4 倍后性能退化。研究通过时间依赖衰减调度干预稳定循环状态，并重新引入非因果读取，在 OpenML-CC18 和 TabArena 上接近 softmax 注意力基线，代码已公开。
AI 根据报道生成 · 2 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
9月30日
- arXiv · Statistics Machine Learning适配线性时间架构用于表格上下文学习
DeltaNet 在表格上下文学习（ICL）中表现优于非因果线性注意力，但在预训练上下文长度 2-4 倍后性能退化。研究通过时间依赖衰减调度干预稳定其循环状态，并重新引入非因果读取，在 OpenML-CC18 和 TabArena 上接近 softmax 注意力基线。代码已公开。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。