跳到正文
热点事件持续更新

提出自适应互蒸馏多任务后训练框架AMD

1 篇报道1 个报道来源16 小时前 更新

先了解这件事

AI 综述

2026年10月5日,arXiv Computation and Language 发表一手研究,提出 Adaptive Mutual Distillation(AMD)框架,用于大语言模型的均衡多任务后训练。该框架联合训练两个采用不同任务均衡策略的大语言模型,并用任务级验证分数按任务和迁移方向选择蒸馏权重。实验在六个基准和三个 LLM 骨干上进行,结果显示两个 AMD 模型的平均分数均超过同采样策略的 SFT 基线及现有任务均衡方法;合并两模型后较 multi-task SFT 平均提升 2.91 分。目前未见后续报道或争议。

AI 根据报道生成 · 16 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月5日
  1. arXiv · Computation and Language
    Adaptive Mutual Distillation:用于大语言模型均衡多任务后训练

    提出 Adaptive Mutual Distillation(AMD)框架,联合训练两个采用不同任务均衡策略的大语言模型,并用任务级验证分数按任务和迁移方向选择蒸馏权重。在六个基准和三个 LLM 骨干上,两个 AMD 模型的平均分数均超过同采样策略的 SFT 基线及现有任务均衡方法;合并两模型后较 multi-task SFT 平均提升 2.91 分。

本事件热度走势

当前热度 7·可比范围峰值 10(10月5日 13:00)·近 24 小时可比范围变化 –

02.557.51010月5日13:0010月5日18:0010月5日22:0010月6日03:00

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。