arXiv cs.AI· Rahul Sharma, Andrew B. Duncan, Ga\'etan Marceau Caron, Sebastian J. Vollmer·· 9 天前AI 评分25
TypedBench：面向 System One 决策模型的校准、措辞敏感性与成本基准
TypedBench: A Benchmark for Calibration, Framing Sensitivity, and Cost in System One Decision Models
AI 导读
研究者提出 TypedBench，一个针对 Jev 等类型化决策模型的基准，由七个策略标注生成器和九个评测套件构成，按释义的中位数与范围报告准确率，并以匹配的完美校准预测器的有限样本噪声底为参照衡量校准误差。
正文 · AI 翻译
摘要：System One 模型通过非生成式接口，输出针对类型化答案（如分类选项、有序等级或二元结果）的校准概率。软件可以通过阈值、成本加权选择和升级规则对这些概率采取行动。因此，如果这些概率校准不当或对措辞敏感，软件可能会采取非预期行动，使人类操作员没有可检查的文本依据。当前的评估大多在公共分类数据集上报告准确率和校准情况，而没有明确的参照。我们提出了 TypedBench，这是一个针对类型化决策模型（如 Jev）的基准，由七个策略标注生成器和九个评估套件构建而成。我们报告准确率作为跨改述的中位数和范围，并报告相对于匹配的、完美校准预测器的有限样本噪声底的校准误差。我们通过选择性预测、有序适当评分规则以及非对称成本矩阵下的实际成本来评估概率质量。我们在相同项目上评估了一个托管模型、一个开放编码器和一系列参数规模从 0.8B 到 9B 的开放解码器。托管模型遵循所述策略，但对措辞敏感且系统性地过度自信不足；在非对称成本下，使用其概率可能比直接采用其最高答案更差。解码器精确路由，但随着选项或问题的增加而变慢。解码器在策略问题上准确率最低，并且随着选项增多而性能下降。总体而言，类型化决策模型必须在策略遵循、措辞鲁棒性、概率质量和诱导决策结果方面进行联合评估。
| 主题： | 人工智能（cs.AI）；应用（stat.AP） |
| 引用为： | arXiv:2610.11392 [cs.AI] |
| （或 arXiv:2610.11392v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11392 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Rahul Sharma [查看电子邮件]
[v1]
2026年10月8日星期四 07:22:36 UTC（219 KB）
来源：arXiv cs.AI · arxiv.org