跳到正文
原文
arXiv · Artificial Intelligence· Ronghua Li, Zi Liang, Zhishan Li, Shinan Liu·· 3 小时前AI 评分36

PG-SFT:离线 Agent 微调中能力获取与保持的平衡

PG-SFT: Balancing Capability Acquisition and Retention in Offline Agent Fine-Tuning

AI 导读

PG-SFT 通过利用 agent 轨迹的回合级信息增益调整监督强度,在目标 benchmark 提升的同时降低分布偏移与通用能力退化。标准 SFT 虽提升目标 benchmark 但导致非目标分数下降,KL 惩罚与限制更新幅度未能避免该退化趋势。平衡能力获取与保持不仅取决于是否锚定基座行为,还取决于监督在何处及多强偏离基座行为。

来源:arXiv · Artificial Intelligence · arxiv.org