arXiv · Statistics Machine Learning· Drew T. Nguyen, William Fithian·· 4 hr agoAI score43
METR 时间地平线的估计与有效性：一项对 METR 图表的统计审视
On the estimation and validity of AI time horizons---a statistical look at the METR plot
AI brief
研究者在 228 个任务和 26 个 AI 上重算 METR 的 50% 时间地平线，用样条与项目反应理论放宽任务难度随人类时间对数线性变化的假设。拟合样条在 2–30 分钟区间近乎平坦、其他区间接近线性，因此从 3 分钟到 30 分钟的跃升远比从 30 分钟到 5 小时容易，尽管两者同为 10 倍。
Source: arXiv · Statistics Machine Learning · arxiv.org