TypedBench：面向系统一决策模型的校准与成本基准

1. 12:00
   arXiv · Artificial Intelligence

   TypedBench：面向系统一决策模型的校准、措辞敏感性与成本评测基准

   TypedBench 面向 Jev 等类型化决策模型，基于七个带策略标注的生成器与九套评测集，报告准确率（改写中的中位数与范围）、相对有限样本噪声底的校准误差，以及非对称成本矩阵下的实际成本。评测覆盖一个托管模型、一个开放编码器与 0.8B-9B 参数的开放解码器家族：托管模型遵循策略但措辞敏感且系统性低置信，非对称成本下用其概率可能不如直接取最高答案；解码器随选项或问题增加而变慢且准确率下降。

Current heat 9·Comparable peak 10（Oct 9）·Comparable change over 24 hours –

The trend compares only the same participants observed continuously; its range may be smaller than the current heat count. Move or click on the chart to inspect hourly heat; use the left and right arrow keys to switch.