UniPat AI发布PaperBenchX:GPT-6 Astra论文复现率仅13.98%
Get the story
2026年10月8日,UniPat AI发布多学科端到端论文复现基准PaperBenchX。该基准包含93个真实论文复现任务,覆盖12个研究方向和10种领域原生科学环境,含3168条专家校验评分项,要求Agent在容器化环境中提交可执行复现工作流;评测时系统删除输出、断网并在隔离环境重跑,只认可重新生成的证据。在该基准上,表现最强的GPT-6 Astra完整复现率仅为13.98%。目前公开信息仅涉及基准设计与该模型成绩,尚无其他模型对比或后续更新。
Generated from reports · updated 4 hr ago
Timeline
Follow the coverage from different angles.
- 量子位UniPat AI发布PaperBenchX:GPT-6 Astra论文完整复现率仅13.98%
UniPat AI发布多学科端到端论文复现基准PaperBenchX,在93个真实论文复现任务中,表现最强的GPT-6 Astra完整复现率仅13.98%。基准覆盖12个研究方向和10种领域原生科学环境,含3168条专家校验评分项,要求Agent在容器化环境中提交可执行复现工作流,系统删掉输出、断网并在隔离环境重跑,只认重新生成的证据。
Heat trend
Current heat 9·Comparable peak 10(Oct 8)·Comparable change over 24 hours –
The trend compares only the same participants observed continuously; its range may be smaller than the current heat count. Move or click on the chart to inspect hourly heat; use the left and right arrow keys to switch.