arXiv · Software Engineering· Yuanhao Li, Hongbo Wang, Xuhong Chen, Yiming Cao, Xunzhu Tang·2026-09-30 12:00· 6 小时前精选AI 评分62

Counterfactual Rollout Replay：Forkable环境作为软件工程智能体的免费过程奖励

Counterfactual Rollout Replay: Forkable Environments as Free Process Rewards for Software Engineering Agents

AI 导读

论文提出Counterfactual Rollout Replay（CRR），在训练时利用可fork的可执行环境获取步骤级回报对比：选择决策点、恢复状态、采样替代动作并沿策略前向分支，以真实轨迹终端回报与反事实回报之差替换优势函数，无需人工过程标注或学习过程奖励模型。

推荐理由

用可fork环境获得步骤级回报对比，无需人工标注或学习过程奖励模型，为SWE智能体训练提供了一种低监督成本的新思路。