程序输出与检查点状态预测基准发布

2026年10月9日，arXiv 软件工程方向发布一项一手研究，提出面向真实程序的精确输出与检查点状态预测评测基准。该基准仅依据源代码和输入预测最终输出与检查点状态，扩展了 CRUXEval 式输出预测，加入成对短/长 trace 输入以及循环内外检查点。基准包含来自 371 个 Python 和 C++ 程序的 400 个用例，并在四个模型族、无工具或代码执行的七种设置下进行评测；在 11,200 个计划预测中，11,151 个产生可评分结果。报道未提及模型排名、具体分数或后续计划。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。