对抗训练线性Transformer成为高斯混合最优鲁棒上下文学习器

1. 12:00
   arXiv · Statistics Machine Learning

   对抗训练的线性 Transformer 成为高斯混合任务的最优鲁棒上下文学习器

   一项研究证明，经过大规模对抗预训练的单一模型可在无需任务特定对抗训练的情况下，对新任务达到最优鲁棒性。针对高斯混合分类任务族，充分深的线性 Transformer 经跨任务对抗训练后，能通过干净样本的上下文学习渐近达到未见任务上的鲁棒贝叶斯误差，而标准训练模型无法做到。研究还分析了梯度流下的收敛性、精度—鲁棒性权衡与样本复杂度。

Current heat 9·Comparable peak 10（Oct 7）·Comparable change over 24 hours –

The trend compares only the same participants observed continuously; its range may be smaller than the current heat count. Move or click on the chart to inspect hourly heat; use the left and right arrow keys to switch.