线性 attention 能从非线性教师中学到什么 in-context？

论文把线性 attention 的 in-context 学习理论从线性回归扩展到非线性单指标目标 y=f(xᵀw)+ε。核心结论是非线性-噪声等价：线性 attention 只提取 f 的线性 Hermite 分量，其余非线性结构以有效噪声形式计入泛化误差，从而可把线性理论结果迁移到非线性任务。研究还讨论了有限预训练数据，以及随任务多样性增加从任务记忆到任务泛化的转变。