arXiv · Computation and Language· Yuxuan Gu, Kequan Niu, Xiaocheng Feng, Yun Li, Yiqiao Yang, Bing Qin·· 2 小时前AI 评分38
SFT 应该学什么？面向可泛化后训练的条件信息增益
What Should SFT Learn? Conditional Information Gain for Generalizable Post-Training
AI 导读
论文提出 CIG-SFT，一个信息论 SFT 框架，用于估计每个示范 token 在任务条件下携带的信息量。该方法在教师强制下比较冻结参考模型在有无任务输入时的 token 似然，把条件信息增益转化为 KL 正则化投影，并推导出等价的标量加权 SFT 目标。
来源：arXiv · Computation and Language · arxiv.org