arXiv cs.CL· Soovadeep Bakshi, Apurba Bose, Aishwarya Bose, Sandip Nandi·· 3 天前AI 评分22
相似模型，失真的赔率：Luce 公理在 Chatbot Arena 中的失效之处
Similar Models, Broken Odds: Where Luce's Axiom Fails in Chatbot Arena
AI 导读
基于 180 万条 Chatbot Arena 投票，研究发现 Bradley-Terry 模型所依赖的 Luce 选择公理在相似模型间失效：同一模型不同版本之间的投票比预测更具决定性，达 1.37 倍，同代不同规模为 1.26 倍，同一实验室不同模型为 1.12 倍。
正文 · AI 翻译
摘要：Chatbot Arena 使用 Bradley-Terry 模型对语言模型进行排名，该模型为每个模型给出一个分数，因此假设了 Luce 选择公理。选择理论预测了其失效之处：近似副本之间的区分比其分数所暗示的更为明确。在 180 万次 Arena 投票中，同一模型不同版本之间的投票比 Bradley-Terry 预测的明确程度高 1.37 倍，同一代不同规模之间高 1.26 倍，同一实验室不同模型之间高 1.12 倍；一年后的发布给出了一致的乘数，且该效应在替代的平局处理、提示子集和主题以及时间检查下依然存在。两个模型答案在措辞和格式上的相似程度与这一效应相关。一个具有四到六个参数的校正模型在预测留出投票方面优于 Bradley-Terry 以及具有数百个参数的模型，主要是通过对平局建模；在预先固定的测试中冻结并迁移到新发布版本，其增益集中在平局上，且并未确立更好的正面交锋赔率。排行榜顺序几乎不变。使用语言模型评判者和三答案菜单，当选择在提示上汇总时，近似副本主要从其孪生模型那里获得选票（对数几率偏移 +0.10，95% 区间 0.05 至 0.16）；在单个提示内，偏移较小，且在四位评判者中的两位中表现明显。
| 评论： | 18 页，5 幅图，9 张表 |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.19095 [cs.CL] |
| （或 arXiv:2610.19095v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19095 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
发件人：Soovadeep Bakshi [查看电子邮件]
[v1]
2026 年 10 月 13 日星期二 19:33:25 UTC（170 KB）
来源：arXiv cs.CL · arxiv.org