arXiv · Artificial Intelligence· Rahul Sharma, Andrew B. Ducan, Ga\'etan Marceau Caron, Sebastian J. Vollmer·· 4 hr agoAI score34
TypedBench:面向系统一决策模型的校准、措辞敏感性与成本评测基准
TypedBench: A Benchmark for Calibration, Framing Sensitivity, and Cost in System One Decision Models
AI brief
TypedBench 面向 Jev 等类型化决策模型,基于七个带策略标注的生成器与九套评测集,报告准确率(改写中的中位数与范围)、相对有限样本噪声底的校准误差,以及非对称成本矩阵下的实际成本。评测覆盖一个托管模型、一个开放编码器与 0.8B-9B 参数的开放解码器家族:托管模型遵循策略但措辞敏感且系统性低置信,非对称成本下用其概率可能不如直接取最高答案;解码器随选项或问题增加而变慢且准确率下降。
Source: arXiv · Artificial Intelligence · arxiv.org