arXiv · Computation and Language· Radhika Gaonkar·· 4 hr agoAI score47
TRACE:诊断智能体评测中验证器的脆弱性
TRACE: Diagnosing Verifier Brittleness in Agentic Evaluation
AI brief
TRACE 协议把分数变化从结论变成可检验的诊断:对评测做定向改动、对比成对运行、检查智能体行为是否变化,并对未改动轨迹重新打分以判断评分规则是否应负责。
Source: arXiv · Computation and Language · arxiv.org