arXiv · Computers and Society· David Gringras·2026-10-01 12:00· 2 小时前精选AI 评分74

Safety Under Scaffolding: How Evaluation Conditions Shape Measured Safety

AI 导读

论文测试 6 个主流模型在 4 个预注册安全基准上的表现，比较直接 API 与 ReAct、多智能体、map-reduce 三种脚手架。测量方式（选择题 vs 开放题）平均造成 5-20 pp 的安全分数差异，基准选择解释 15.1% 的结果变异，而脚手架架构仅解释 0.5%。

推荐理由

同一基准题用不同评分格式可导致 5-20 pp 的安全测量差异，提示部署前需审视评测方法本身。