arXiv · Statistics Machine Learning· Sohail (Neel), Sarkar, Shakuntala Baichoo·· 3 小时前AI 评分38
Cheap to Draw, Expensive to Trust: Certifying Test-Time Scaling Curves
Cheap to Draw, Expensive to Trust: Certifying Test-Time Scaling Curves
AI 导读
论文提出一种配对审计方法，基于同一问题的两次独立抽取的指数不等式，无需预实验即可认证测试时采样曲线。在 185 个保留分数池上，该方法在 64 预算下使用 0.74 倍答案数、在 1024 预算下使用 0.53 倍答案数，相比最便宜的竞争审计；在 MMLU-Pro 上用 79,133 个答案认证曲线，误差在 0.6% 以内。
来源：arXiv · Statistics Machine Learning · arxiv.org