SaltBench：机器裁判协议测编码代理方法效应
Get the story
2026年10月5日，arXiv 软件工程方向发布一手报道，介绍 SaltBench：一种由机器裁判（证明内核、程序验证器或留出测试套件）决定结果的协议，用于测量编码智能体的方法效应。实验在五个 Rust 系统组件上进行，固定 Verus 工具链，由留出测试套件担任裁判。结果显示，salt-diet 臂在所有组件上成本更高，溢价不超过 2.8879 倍，其中三个最低组件的溢价低于 1.4 倍。目前报道仅涉及该协议设计与上述测量结果，未见后续验证或独立复现信息。
Generated from reports · updated 16 hr ago
Timeline
Follow the coverage from different angles.
- arXiv · Software EngineeringSaltBench：用裁判门控协议测量机器校验软件工作中的方法效应
SaltBench 提出一种由机器裁判（证明内核、程序验证器或留出测试套件）决定结果的协议，用于测量编码智能体的方法效应。五个 Rust 系统组件在固定 Verus 工具链上由留出测试套件裁判，salt-diet 臂在所有组件上成本更高，溢价不超过 2.8879x，三个最低组件低于 1.4x。
Heat trend
Current heat 6·Comparable peak 10（Oct 5）·Comparable change over 24 hours –
The trend compares only the same participants observed continuously; its range may be smaller than the current heat count. Move or click on the chart to inspect hourly heat; use the left and right arrow keys to switch.