arXiv cs.AI· Dushyant Rajput (AltSlate Labs LLP), Nirdesh Chauhan (AltSlate Labs LLP), Siddharth Kosaraju (AltSlate Labs LLP)·· 3 天前AI 评分31
托管决策模型 jev-1.13.0 是否满足无关选项独立性？一项预注册的选项集依赖测试
Does a Hosted Decision Model Respect Irrelevant Alternatives? A Pre-Registered Test of Option-Set Dependence in Jev
AI 导读
预注册研究用 299,463 次调用测试托管决策模型 jev-1.13.0，发现每新增一个选项都会移动 gold label 与最强错误标签之间的对数几率，均方根系统性偏移达 0.20-0.52 nats，为运行间波动的 1.2 至 3 倍。
正文 · AI 翻译
摘要：为每个选项返回一个概率的决策 API 常被当作这些概率是选项本身的属性来使用。这种解读只有在模型满足无关备选独立性（IIA）时才成立：添加一个既不是正确答案也不是其最强竞争者的选项，应当使这两者之间的几率保持不变。我们在一项预注册研究中对此进行了检验，研究对象是 jev-1.13.0，一个托管决策模型，在意图分类（BANKING77、CLINC150）和主题分类（AG News）上进行了 299,463 次调用。每添加一个选项都会改变黄金标签与最强错误标签之间的对数几率：均方根系统性偏移为 0.20-0.52 nats，是逐次运行波动的 1.2 到 3 倍，即使所添加的选项最多只占 0.1% 的概率质量。这些偏移是有方向性的。与错误答案相似的选项会从它那里抽取概率（向黄金标签方向 +0.10 nats）。对错误答案的改述会产生一种中间模式：黄金标签的概率几乎保持不变，但改述只获得错误答案份额的大约三分之一，而非严格替换所暗示的一半。这种失真随着选项数量的对数稳步增长，在 255 个选项时达到约 1 nat，而域外填充会将几率推向不利于黄金标签的方向。相比之下，打包在同一次调用中的问题不会相互作用（偏差 < 0.001）。用独立的 yes/no 问题对每个选项打分消除了选项集依赖性，但选对答案的频率低了 8.7 个百分点。Jev 介于两个本地基线之间，一个选项无关评分器和一个提示读出。其概率最好被理解为相对于它们所基于的选项列表而言。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.16655 [cs.AI] |
| （或 arXiv:2610.16655v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16655 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Dushyant Rajput [查看电子邮件]
[v1]
2026年10月12日星期一 12:10:32 UTC（138 KB）
来源：arXiv cs.AI · arxiv.org