arXiv · Software Engineering· Jason Hickey·· 16 小时前AI 评分24
SaltBench:用裁判门控协议测量机器校验软件工作中的方法效应
SaltBench: A Referee-Gated Protocol for Measuring Method Effects in Machine-Checked Software Work
AI 导读
SaltBench 提出一种由机器裁判(证明内核、程序验证器或留出测试套件)决定结果的协议,用于测量编码智能体的方法效应。五个 Rust 系统组件在固定 Verus 工具链上由留出测试套件裁判,salt-diet 臂在所有组件上成本更高,溢价不超过 2.8879x,三个最低组件低于 1.4x。
来源:arXiv · Software Engineering · arxiv.org