arXiv · Software Engineering· Hadi Mohammadi·· 16 小时前AI 评分53
trajectory-judge:仅看结果的 LLM 裁判会漏掉 Agent 轨迹中的什么
trajectory-judge: What Outcome-Only LLM Judges Miss on Agent Trajectories
AI 导读
论文提出 trajectory-judge 测试台,用确定性客服环境和一步故障注入器标注 400 条轨迹,检验 LLM 裁判对 Agent 轨迹故障的识别。结果显示,只看请求和最终回复的 14B 裁判在四类不改变回复的故障上召回 34% 至 76%,但配对区分度为零;按结果是否被破坏拆分也不能修复该偏差。
来源:arXiv · Software Engineering · arxiv.org