SWE-Journey:长程多轮交互的编码助手评测基准
Get the story
2026年10月9日,研究者在 arXiv 发布 SWE-Journey 基准,旨在更真实地评测编程助手在长周期、多轮交互中的表现。该基准通过弱到强合成流水线自动构建长周期编程任务,并从真实交互数据中挖掘四类用户画像,构建用户模拟智能体以还原多轮代码辅助交互。评测结果显示,模型在软件架构师场景下平均通过超过 75% 的功能测试,而在非程序员场景下不足 25%。研究将这一差距归因于问对、找对、修对三项关键交互能力。这是该事件的首篇报道,目前未见与其他报道矛盾之处。
Generated from reports · updated 3 hr ago
Timeline
Follow the coverage from different angles.
- arXiv · Software EngineeringSWE-Journey:通过长周期、多轮交互更真实地评测编程助手
研究者提出 SWE-Journey 基准,用弱到强合成流水线自动构建长周期编程任务,并从真实交互数据挖掘四类用户画像、构建用户模拟智能体以还原多轮代码辅助交互。评测显示,模型在软件架构师场景下平均通过超 75% 的功能测试,在非程序员场景下不足 25%。研究将差距归因于问对、找对、修对三项关键交互能力。
Heat trend
Current heat 9·Comparable peak 10(Oct 9)·Comparable change over 24 hours –
The trend compares only the same participants observed continuously; its range may be smaller than the current heat count. Move or click on the chart to inspect hourly heat; use the left and right arrow keys to switch.