跳到正文
原文
arXiv · Computer Vision· Sofi\`ene Boutaj, Pierre Marza, Varun Belagali, Dimitris Samaras, Maria Vakalopoulou, Stergios Christodoulidis·· 2 小时前AI 评分41

数字病理学的多教师知识蒸馏扩展方法

Scaling Multi-Teacher Distillation for Digital Pathology

AI 导读

论文提出一种可扩展的多教师知识蒸馏(MTD)方法,通过学习教师特定表征(可学习教师 token、定制注意力机制、MoE 层与对比损失)解决标准方法随教师数量增加而失效的问题。

来源:arXiv · Computer Vision · arxiv.org