Skip to content
arXiv · Computer Vision· Sofi\`ene Boutaj, Pierre Marza, Varun Belagali, Dimitris Samaras, Maria Vakalopoulou, Stergios Christodoulidis·· 3 hr agoAI score41

数字病理学的多教师知识蒸馏扩展方法

Scaling Multi-Teacher Distillation for Digital Pathology

AI brief

论文提出一种可扩展的多教师知识蒸馏(MTD)方法,通过学习教师特定表征(可学习教师 token、定制注意力机制、MoE 层与对比损失)解决标准方法随教师数量增加而失效的问题。

Source: arXiv · Computer Vision · arxiv.org