Skip to content
arXiv · Computation and Language· Radhika Gaonkar·· 4 hr agoAI score47

TRACE:诊断智能体评测中验证器的脆弱性

TRACE: Diagnosing Verifier Brittleness in Agentic Evaluation

AI brief

TRACE 协议把分数变化从结论变成可检验的诊断:对评测做定向改动、对比成对运行、检查智能体行为是否变化,并对未改动轨迹重新打分以判断评分规则是否应负责。

Source: arXiv · Computation and Language · arxiv.org