Skip to content
Hot eventLive

CompMat-Bench：计算材料科学AI Agent基准

1 reports1 sources3 hr ago updated

Get the story

AI overview

2026-10-02，arXiv 发表 CompMat-Bench，评测 AI 智能体在计算材料科学中的研究能力。基准包含 94 个源自已发表计算材料研究的单步任务，以预复现输入与结果作为 ground truth，避免评估时重复昂贵模拟。基于三个 LLM 的智能体在单任务全指引下通过率为 66.0-90.4%；长流程或减少指引会拉低弱智能体表现，最强智能体仅在长流程加少指引时下降。多数失败归因于科学错误而非软件使用错误。

Generated from reports · updated 2 hr ago

LatestOct 2
CompMat-Bench 发布，包含 94 个单步任务，智能体全指引通过率 66.0-90.4%，长流程或减指引拉低弱智能体表现。

Timeline

Follow the coverage from different angles.

Oct 2, 2026
  1. arXiv · Artificial Intelligence
    CompMat-Bench：评测 AI 智能体在计算材料科学中的研究能力

    CompMat-Bench 包含 94 个源自已发表计算材料研究的单步任务，通过预复现输入与结果作为 ground truth，避免评估时重复昂贵模拟。基于三个 LLM 的智能体在单任务全指引下通过率为 66.0-90.4%；长流程或减少指引会拉低弱智能体表现，最强智能体仅在长流程加少指引时下降。多数失败归因于科学错误而非软件使用错误。

Heat trend

There is not enough continuous observation data to draw a trend yet.