arXiv · Machine Learning Theory· BoRen Deng, Xiangyue Ma, Chenglong Li, Xiaoting Du·· 3 小时前AI 评分26
增量学习中回放应保留什么：区分可纠正偏差与类别对应
What Must Replay Preserve? Separating Correctable Bias from Class Correspondence
AI 导读
论文提出诊断框架，把缓存预测视为时间异质监督，区分样本存储时已知类别与之后学习类别，并在任务级偏移前后评估模型。在 CIFAR-100 上结合 DER++，合适常数可在 1 个百分点等价范围内替代后学类别的未刷新分数，删除其匹配的代价经偏移从 14.9 降至 1.8 个百分点；重排存储时已知类别的非 gold 分数代价为 4.3 与 4.0 个百分点，图像蒸馏中同样存在。
来源：arXiv · Machine Learning Theory · arxiv.org