arXiv · Computers and Society· David Gringras·· 8 hr agoSelectedAI score74
Safety Under Scaffolding: How Evaluation Conditions Shape Measured Safety
Safety Under Scaffolding: How Evaluation Conditions Shape Measured Safety
AI brief
论文测试 6 个主流模型在 4 个预注册安全基准上的表现，比较直接 API 与 ReAct、多智能体、map-reduce 三种脚手架。测量方式（选择题 vs 开放题）平均造成 5-20 pp 的安全分数差异，基准选择解释 15.1% 的结果变异，而脚手架架构仅解释 0.5%。
Why it matters
同一基准题用不同评分格式可导致 5-20 pp 的安全测量差异，提示部署前需审视评测方法本身。
Source: arXiv · Computers and Society · arxiv.org