arXiv · Software Engineering· Xiaohong Chen, David Bucur, Chenglong Ma, Yi Zhang, Lingming Zhang, Sriram Vishwanath, Grigore Rosu·· 4 hr agoAI score38
真实程序中精确输出与检查点状态预测的评测基准
Evaluating Exact Output and Checkpoint-State Prediction in Real Programs
AI brief
该基准仅依据源代码和输入预测最终输出与检查点状态，扩展 CRUXEval 式输出预测，加入成对短/长 trace 输入及循环内外检查点。基准包含来自 371 个 Python 和 C++ 程序的 400 个用例，在四个模型族、无工具或代码执行的七种设置下评测；11,200 个计划预测中 11,151 个产生可评分结果。
Source: arXiv · Software Engineering · arxiv.org