跳到正文
原文
arXiv · Computation and Language· Radhika Gaonkar·· 3 小时前AI 评分47

TRACE:诊断智能体评测中验证器的脆弱性

TRACE: Diagnosing Verifier Brittleness in Agentic Evaluation

AI 导读

TRACE 协议把分数变化从结论变成可检验的诊断:对评测做定向改动、对比成对运行、检查智能体行为是否变化,并对未改动轨迹重新打分以判断评分规则是否应负责。

来源:arXiv · Computation and Language · arxiv.org