arXiv cs.AI· Rushab Munot·· 12 小时前AI 评分31
多选皆正确时：Jev 等决策模型的非对称概率分配研究
When Multiple Choices Are Correct: Asymmetric Probability Allocation in Jev and Other Decision Models
AI 导读
研究评估了 Jev、Liquid d1 和 GPT-6 Luna Decisions 三个决策模型在 MetaTool、HotpotQA 和 ECtHR 三个数据集上的概率分配与阈值表现。
正文 · AI 翻译
摘要：决策模型会返回候选选项上的归一化概率分布，下游应用可利用该分布在各选项间进行选择。尽管其提供方强调这些概率的可靠性，但在只有一个正确选项的任务上进行的校准，并不能确立在存在多个正确选项时这些概率的可靠性。我们在三个多样化数据集（MetaTool、HotpotQA 和 ECtHR）上评估了三个决策模型（Jev、Liquid d1 和 GPT-6 Luna Decisions），以研究概率分配与阈值化。即使模型将每个正确选项都排在每个干扰项之上，在 28% 到 50% 的此类列表中，仍至少有一个正确选项获得的概率低于 1/n 的均匀概率，其中 n 为选项数量。我们还向每个模型提供五个完全相同的正确选项副本，并观察到概率差异，平均差距在 17 到 79 个百分点之间。我们进一步展示了这些分配差异如何影响概率阈值化下多个正确选项的恢复。决策模型的概率可以对正确选项进行排序，但概率阈值并不能识别出正确选项的集合。
| 评论： | 11 页，2 幅图。代码：此 https URL |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| ACM 分类： | I.2.7 |
| 引用为： | arXiv:2610.29217 [cs.AI] |
| （或 arXiv:2610.29217v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29217 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Rushab Munot [查看电子邮件]
[v1]
2026 年 10 月 21 日星期三 05:18:35 UTC（92 KB）
来源：arXiv cs.AI · arxiv.org