TypedBench：面向系统一决策模型的校准与成本基准

2026年10月9日，arXiv《Artificial Intelligence》发布TypedBench基准，面向Jev等类型化决策模型。该基准基于七个带策略标注的生成器与九套评测集，报告准确率（改写中的中位数与范围）、相对有限样本噪声底的校准误差，以及非对称成本矩阵下的实际成本。评测覆盖一个托管模型、一个开放编码器与0.8B至9B参数的开放解码器家族。结果显示：托管模型遵循策略但措辞敏感且系统性低置信，非对称成本下用其概率可能不如直接取最高答案；解码器随选项或问题增加而变慢且准确率下降。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。