跳到正文
原文
arXiv · Artificial Intelligence· Yafeng Tang, Hao Li, Hongsheng Yu, Qiang Fu·· 3 小时前AI 评分37

ReTeach:通过多轮反思与重试构建自教师

ReTeach: Building a Self-Teacher through Multi-Round Reflection and Retry

AI 导读

ReTeach 提出一种反思式自蒸馏框架,仅用自生成尝试与结果级验证,通过多轮反思与重试构建自教师,无需参考答案、外部诊断反馈或跨样本记忆。该框架采用结果感知的选择与加权策略,对初始正确、反思纠正和未解决样本分别赋权,并通过 on-policy 蒸馏在学生自身 rollout 前缀上对齐教师的 token 级预测分布。

来源:arXiv · Artificial Intelligence · arxiv.org