arXiv · Computer Vision· Zhenghao Zhao, Chi Zhang, Qingshuang Chen, Yelin Kim·· 16 小时前AI 评分33
GRAFT:通过持续教师蒸馏扩展聚合式基础模型
GRAFT: Growing Agglomerative Foundation Models via Continual Teacher Distillation
AI 导读
研究者提出 GRAFT,一种持续多教师蒸馏框架,让统一骨干网络从开放式基础模型序列中逐步习得能力。新教师加入时,GRAFT 将已蒸馏模型作为教师以保留既有能力,学生同时从旧模型与新教师学习,并引入 Teacher Specific Readout Tokens 与 Geometry Agnostic Relational Loss 调和异构教师的表征几何。
来源:arXiv · Computer Vision · arxiv.org