Lilian Weng·· 2021-12-05AI 评分20
半监督学习(Semi-Supervised Learning)综述:一致性正则化与 Π-model
Learning with not Enough Data Part 1: Semi-Supervised Learning
AI 导读
半监督学习同时利用有标签与无标签数据训练模型,损失函数为 L = Ls + μ(t)Lu,其中 μ(t) 随训练步 ramp up。无监督损失基于一致性正则化:同一输入经不同数据增强或 Dropout 后,模型预测应保持一致。该思想被 SimCLR、BYOL、SimCSE 等自监督方法采用,Π-model 通过两次前向传播最小化输出差异。
来源:Lilian Weng · lilianweng.github.io