热点事件持续更新
CIG-SFT:用条件信息增益改进监督微调
1 篇报道1 个报道来源2 小时前 更新
先了解这件事
AI 综述
2026年10月12日,arXiv 计算与语言栏目发表一手论文《SFT 应该学什么?面向可泛化后训练的条件信息增益》,提出 CIG-SFT 这一信息论 SFT 框架,用于估计每个示范 token 在任务条件下携带的信息量。该方法在教师强制下比较冻结参考模型在有无任务输入时的 token 似然,把条件信息增益转化为 KL 正则化投影,并推导出等价的标量加权 SFT 目标。目前公开信息仅涉及该框架的定义与目标推导,尚无实验结果或第三方验证报道。
AI 根据报道生成 · 2 小时前更新
最新进展10月12日 12:00
arXiv 发表 CIG-SFT 论文,提出基于条件信息增益的 KL 正则化标量加权 SFT 目标。报道时间线
沿着报道,了解事件的不同侧面。
10月12日
- arXiv · Computation and LanguageSFT 应该学什么?面向可泛化后训练的条件信息增益
论文提出 CIG-SFT,一个信息论 SFT 框架,用于估计每个示范 token 在任务条件下携带的信息量。该方法在教师强制下比较冻结参考模型在有无任务输入时的 token 似然,把条件信息增益转化为 KL 正则化投影,并推导出等价的标量加权 SFT 目标。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。