跳到正文
原文
arXiv · Statistics Machine Learning· Marco Pollanen·· 3 小时前AI 评分33

相关性测试的代价:模型发布门控应有多严格?

The Price of Correlated Tests: How Strict Should a Model Release Gate Be?

AI 导读

该研究将模型发布门控视为设计问题,提出基于双类潜因子模型的计算方法,用一维积分量化测试通过数与可靠性目标的关系。当测试间存在潜相关性时,更严格的门控虽提升可靠性,但会通过更多好模型;99%可靠性目标在潜相关0.3时需74个测试、相关0.5时需5182个测试,且通过率低于一成。作者还给出基于精确二项边界的门控验证程序,可从标注数据认证门控,即使门控来自固定短名单。

来源:arXiv · Statistics Machine Learning · arxiv.org