arXiv · Statistics Machine Learning· Arjun Balaji·· 4 hr agoAI score29
以弃答换取认证：小校准预算下 CoT 验证器的无分布保证
Certified by Abstention: Distribution-Free Guarantees for Chain-of-Thought Verifiers at Small Calibration Budgets
AI brief
研究比较 CoT 轨迹正确性信号时指出，部署验证器需要带保证的阈值，而无分布选择性保证在数十到数百个标注问题的校准预算下存在局限。实验用七个开源模型、五种验证信号和 37,000 条已评分轨迹发现，标准证书在最多 0.3% 的校准抽样中失效，但在其触发的抽样中失效比例可达 69%。
Source: arXiv · Statistics Machine Learning · arxiv.org