arXiv · Statistics Machine Learning· Marco Pollanen·· 3 小时前AI 评分33
相关性测试的代价:模型发布门控应有多严格?
The Price of Correlated Tests: How Strict Should a Model Release Gate Be?
AI 导读
该研究将模型发布门控视为设计问题,提出基于双类潜因子模型的计算方法,用一维积分量化测试通过数与可靠性目标的关系。当测试间存在潜相关性时,更严格的门控虽提升可靠性,但会通过更多好模型;99%可靠性目标在潜相关0.3时需74个测试、相关0.5时需5182个测试,且通过率低于一成。作者还给出基于精确二项边界的门控验证程序,可从标注数据认证门控,即使门控来自固定短名单。
来源:arXiv · Statistics Machine Learning · arxiv.org