arXiv · Computation and Language· Chenxu Wang, Chaozhuo Li, Xinze Shi, Songyang Liu, Kyrie You Wu, Ziluowen Luo, Shun Zhang, Chenxi Li, Litian Zhang·· 6 小时前AI 评分38
当更新不再等于学习：重新思考 LLM 自我演化中的可学习信息增益
When Updating Stops Being Learning: Rethinking LLM Self-Evolution via learnable information gain
AI 导读
LLM 自我演化常出现性能先升后降的退化现象，现有方法仅针对 Questioner 或 Solver 单独优化，忽略了系统耦合性。该研究提出基于可学习信息增益的整体框架，理论等价于两轮数据分布的 KL 散度加熵变，实际通过拟合小语言模型并以负对数似然评分来估计。基于该诊断，ATRI 框架在轮内重加权样本、信息增益持续偏低时跨轮停止训练，在公开数据集上验证了有效性。
来源：arXiv · Computation and Language · arxiv.org