Skip to content
Hot eventLive

AI评委方法比较研究：顺序、批次与聚合效应

1 reports1 sources3 hr ago updated

Get the story

AI overview

2026年10月7日，arXiv Statistics Machine Learning 发布一手论文《AI 评委的可信模型比较：顺序、批次与聚合效应下的估计与设计》。论文提出用一阶 Markov GLMM 近似 LLM 评估机制，并在三个主流商业 LLM 的样本外预测上得到支持。研究显示，随机化-平均选择在 mild separation 条件下具有一致性；Williams square 设计可在项目质量接近时提升效率；分组比较中，朴素平均会因响应模型非线性导致结论不一致。该方法还应用于 AI 评委比较两种图模型估计方法。目前报道仅此一篇，无更早或矛盾信息。

Generated from reports · updated 3 hr ago

LatestOct 7
arXiv 论文提出 Markov GLMM 近似 LLM 评估，并在三个商业 LLM 上获样本外支持。

Timeline

Follow the coverage from different angles.

Oct 7, 2026
  1. arXiv · Statistics Machine Learning
    AI 评委的可信模型比较：顺序、批次与聚合效应下的估计与设计

    论文提出用一阶 Markov GLMM 近似 LLM 评估机制，并在三个主流商业 LLM 的样本外预测上得到支持。研究显示随机化-平均选择在 mild separation 条件下具有一致性，Williams square 设计可在项目质量接近时提升效率；分组比较中朴素平均会因响应模型非线性导致结论不一致。方法还应用于 AI 评委比较两种图模型估计方法。

Heat trend

Current heat 9·Comparable peak 10（Oct 7）·Comparable change over 24 hours –

02.557.510Oct7Oct7Oct7Oct7

The trend compares only the same participants observed continuously; its range may be smaller than the current heat count. Move or click on the chart to inspect hourly heat; use the left and right arrow keys to switch.