热点事件持续更新
O*NET-BENCH审计LLM裁判的职业测量有效性
1 篇报道1 个报道来源16 小时前 更新
先了解这件事
AI 综述
研究推出 O*NET-BENCH，基于 45,796 条工人评分构建，并在 4,501 条测试评分上评估 33 个评委配置，覆盖六个模型族。结果显示，25 个配置的 tie-aware pair accuracy 至少 0.60，但评委估计 3.0%-97.9% 的回复可接受，远偏离职业匹配工人的 61.1%。校准后分数最多解释 8.5% 的个体评分方差，表明排序一致不足以支撑职业测量。
AI 根据报道生成 · 16 小时前更新
最新进展10月5日 12:00
新研究指出LLM评委排序正确但尺度偏差大，校准后解释力有限。报道时间线
沿着报道，了解事件的不同侧面。
10月5日
- arXiv · Artificial Intelligence排序正确，尺度错误：审计 LLM 评委的职业 AI 测量
研究推出 O*NET-BENCH，基于 45,796 条工人评分构建，在 4,501 条测试评分上评估 33 个评委配置（覆盖六个模型族）。25 个配置的 tie-aware pair accuracy 至少 0.60，但评委估计 3.0%-97.9% 的回复可接受，远偏离职业匹配工人的 61.1%。校准后分数最多解释 8.5% 的个体评分方差，排序一致不足以支撑职业测量。
本事件热度走势
当前热度 7·可比范围峰值 10（10月5日 12:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。