量子位· 允中·· 5 小时前AI 评分56
UniPat AI发布PaperBenchX:GPT-6 Astra论文完整复现率仅13.98%
ChatGPT踢到铁板了!能破解千禧数学难题,但论文复现率低至13.98%?
AI 导读
UniPat AI发布多学科端到端论文复现基准PaperBenchX,在93个真实论文复现任务中,表现最强的GPT-6 Astra完整复现率仅13.98%。基准覆盖12个研究方向和10种领域原生科学环境,含3168条专家校验评分项,要求Agent在容器化环境中提交可执行复现工作流,系统删掉输出、断网并在隔离环境重跑,只认重新生成的证据。
来源:量子位 · qbitai.com