arXiv · Artificial Intelligence· Priyanath Maji, Spandan Ghose Chowdhury·· 3 小时前AI 评分39
Risk-Aware Adaptive Evaluation: Finding High-Impact Failures Under Limited Budgets
Risk-Aware Adaptive Evaluation: Finding High-Impact Failures Under Limited Budgets
AI 导读
论文提出基于风险感知的上下文 Thompson Sampling 策略，将智能体评估建模为序贯分配问题。在仅 50 次试验（语料库 6%）下，该策略恢复 86% 的影响加权失败，发现的影响加权失败是均匀分配的 3.5 倍（215.4 vs 62.2），每美元发现量提升 5 倍，永不失败场景的预算浪费从 34% 降至 2.8%。
来源：arXiv · Artificial Intelligence · arxiv.org