提出自适应互蒸馏多任务后训练框架AMD
Get the story
2026年10月5日，arXiv Computation and Language 发表一手研究，提出 Adaptive Mutual Distillation（AMD）框架，用于大语言模型的均衡多任务后训练。该框架联合训练两个采用不同任务均衡策略的大语言模型，并用任务级验证分数按任务和迁移方向选择蒸馏权重。实验在六个基准和三个 LLM 骨干上进行，结果显示两个 AMD 模型的平均分数均超过同采样策略的 SFT 基线及现有任务均衡方法；合并两模型后较 multi-task SFT 平均提升 2.91 分。目前未见后续报道或争议。
Generated from reports · updated 16 hr ago
Timeline
Follow the coverage from different angles.
- arXiv · Computation and LanguageAdaptive Mutual Distillation：用于大语言模型均衡多任务后训练
提出 Adaptive Mutual Distillation（AMD）框架，联合训练两个采用不同任务均衡策略的大语言模型，并用任务级验证分数按任务和迁移方向选择蒸馏权重。在六个基准和三个 LLM 骨干上，两个 AMD 模型的平均分数均超过同采样策略的 SFT 基线及现有任务均衡方法；合并两模型后较 multi-task SFT 平均提升 2.91 分。
Heat trend
Current heat 6·Comparable peak 10（Oct 5）·Comparable change over 24 hours –
The trend compares only the same participants observed continuously; its range may be smaller than the current heat count. Move or click on the chart to inspect hourly heat; use the left and right arrow keys to switch.