Latent-MOPD：首个表示级多教师在线策略蒸馏方法
Get the story
2026年10月5日，arXiv Machine Learning Theory 发布一手论文，提出 Latent-MOPD，被称为首个面向大语言模型的表示级多教师在策略蒸馏方法。该方法通过整合各教师的预测与隐藏状态来融合多个专家模型，无需额外教师训练。论文称，在数学、代码与逻辑共九个基准上，Latent-MOPD 优于仅 token、仅表示与均匀平均基线；当与教师同参数量时，在多数基准上超过各基准的最佳教师；在跨家族教师设置下，同样优于两种单通道基线。
Generated from reports · updated 16 hr ago
Timeline
Follow the coverage from different angles.
- arXiv · Machine Learning TheoryLatent-MOPD：潜空间多教师在策略蒸馏
Latent-MOPD 提出首个面向 LLM 的表示级多教师在策略蒸馏方法，通过教师的预测与隐藏状态整合多个专家模型，无需额外教师训练。在数学、代码与逻辑共九个基准上，Latent-MOPD 优于仅 token、仅表示与均匀平均基线，且与教师同参数量时在多数基准上超过各基准最佳教师。跨家族教师设置下同样优于两种单通道基线。
Heat trend
Current heat 6·Comparable peak 10（Oct 5）·Comparable change over 24 hours –
The trend compares only the same participants observed continuously; its range may be smaller than the current heat count. Move or click on the chart to inspect hourly heat; use the left and right arrow keys to switch.