Skip to content
Hot eventLive

相关性测试的代价：模型发布门控应有多严格？

1 reports1 sources3 hr ago updated

Get the story

AI overview

该研究将模型发布门控视为设计问题，提出基于双类潜因子模型的计算方法，用一维积分量化测试通过数与可靠性目标的关系。当测试间存在潜相关性时，更严格的门控虽提升可靠性，但会通过更多好模型；99%可靠性目标在潜相关0.3时需74个测试、相关0.5时需5182个测试，且通过率低于一成。作者还给出基于精确二项边界的门控验证程序，可从标注数据认证门控，即使门控来自固定短名单。

Generated from reports · updated 3 hr ago

LatestOct 2
arXiv 发布该研究，给出门控验证程序与测试数量量化结果。

Timeline

Follow the coverage from different angles.

Oct 2, 2026
  1. arXiv · Statistics Machine Learning
    相关性测试的代价：模型发布门控应有多严格？

    该研究将模型发布门控视为设计问题，提出基于双类潜因子模型的计算方法，用一维积分量化测试通过数与可靠性目标的关系。当测试间存在潜相关性时，更严格的门控虽提升可靠性，但会通过更多好模型；99%可靠性目标在潜相关0.3时需74个测试、相关0.5时需5182个测试，且通过率低于一成。作者还给出基于精确二项边界的门控验证程序，可从标注数据认证门控，即使门控来自固定短名单。

Heat trend

There is not enough continuous observation data to draw a trend yet.