arXiv · Artificial Intelligence· Yafeng Tang, Hao Li, Hongsheng Yu, Qiang Fu·· 4 hr agoAI score37
ReTeach:通过多轮反思与重试构建自教师
ReTeach: Building a Self-Teacher through Multi-Round Reflection and Retry
AI brief
ReTeach 提出一种反思式自蒸馏框架,仅用自生成尝试与结果级验证,通过多轮反思与重试构建自教师,无需参考答案、外部诊断反馈或跨样本记忆。该框架采用结果感知的选择与加权策略,对初始正确、反思纠正和未解决样本分别赋权,并通过 on-policy 蒸馏在学生自身 rollout 前缀上对齐教师的 token 级预测分布。
Source: arXiv · Artificial Intelligence · arxiv.org