arXiv cs.AI· Xialie Zhuang, Mingcong Lei, Zunhai Su, Ri Liu, Jianjin Li, Peixian Ma, Jia Pan, Ngai Wong, Guanhua Chen, Chuan-Wei Kuo·· 11 小时前AI 评分38
DecisionPivot：面向 LLM 系统决策模型的诊断基准
DecisionPivot: A Diagnostic Benchmark for Decision Models in LLM Systems
AI 导读
研究者推出 DecisionPivot 诊断基准，含 48 项任务、40,033 个条目，覆盖七类决策角色，核心赛道为 13 个生成任务家族的 7,800 个条目。
正文 · AI 翻译
摘要：决策模型为 LLM 系统提供路由、护栏和输出验证支持。然而，仅凭条目准确率无法确定模型在受控变化下是否做出正确决策，也无法确定其预测是否具有可靠置信度。我们推出 DecisionPivot，这是一个诊断基准，包含 48 项任务、40,033 个条目，覆盖七种决策角色。其核心赛道包含来自 13 个生成任务族的 7,800 个条目，组织为对比组，其计算答案由独立实现的求解器验证。补充参考赛道包含来自 35 个公开测试集的 32,233 个条目，保留其原始评估指标。我们使用有文档记录的、针对具体模型的协议评估了 40 个决策模型和 14 个通用模型，考察条目准确率与对比组准确率、概率排序、校准以及经验选择性覆盖率。我们的结果揭示了被聚合分数掩盖的显著差异：两个 27B 模型在参考赛道上仅相差 2.6 分，其对比组准确率却分别为 70.1% 和 44.2%。在 2,400 个二元对比对中，Perplexity Decider 在 92.3% 的对中将正例成员正确排在负例成员之上，但仅对 74.1% 的对将两个成员都回答正确，暴露出概率排序与决策正确性之间的差距。条目准确率相近的模型在其高置信度预测的可靠性上也存在差异。在一个单独的 1,296 条目子集上，GLM-5.3 在较高推理设置下达到 93.5\% 的对比组准确率，而在其最低努力设置下为 81.5%。通过将错误与关键细节和难度级别关联，DecisionPivot 提供了对决策失败的细粒度诊断，这是仅靠聚合评估无法揭示的。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.28522 [cs.AI] |
| （或 arXiv:2610.28522v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28522 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Mingcong Lei [查看电子邮件]
[v1]
2026年10月20日星期二 16:57:49 UTC（912 KB）
来源：arXiv cs.AI · arxiv.org