对抗训练的线性 Transformer 成为高斯混合任务的最优鲁棒上下文学习器

一项研究证明，经过大规模对抗预训练的单一模型可在无需任务特定对抗训练的情况下，对新任务达到最优鲁棒性。针对高斯混合分类任务族，充分深的线性 Transformer 经跨任务对抗训练后，能通过干净样本的上下文学习渐近达到未见任务上的鲁棒贝叶斯误差，而标准训练模型无法做到。研究还分析了梯度流下的收敛性、精度—鲁棒性权衡与样本复杂度。