Chatbot Arena 盲测分析：同一模型对的差评投票每月上升 1.71 个百分点

Chatbot Arena 盲测：同一模型评分逐月走低

AI 导读

一项针对 Chatbot Arena 上 1,260,967 次盲测投票的研究分析发现，在只保留日期快照、固定开源权重等冻结模型对的情况下，同一对模型被投“两个都差”的比例每月上升 1.71 个百分点，基线均值为 17.1%。不过在 2024 年，较强模型在决定性投票中的胜率份额基本不变，因此模型排名保持稳定。

正文 · AI 翻译

Rohan Paul· @rohanpaul_ai · X·2026-11-14 00:11· 34 分钟前AI 评分48

AI 导读

研究分析 Chatbot Arena 上 1,260,967 次盲测投票，仅保留日期快照、固定开源权重等冻结模型对，发现同一对模型"两个都差"的投票每月上升 1.71 个百分点，基线均值为 17.1%。但 2024 年较强模型在决定性投票中的胜率份额基本不变，因此模型排名保持稳定。

正文 · 原文

人们每月对完全相同的 AI 聊天机器人评价都更苛刻，因此一个从未改变的聊天机器人会显得越来越差。

他们研究了 Chatbot Arena 上的 1,260,967 次盲测投票，人们在其中比较 2 个匿名模型的回答。他们只保留冻结模型对，例如带日期的快照和固定的开源权重，因此模型从未改变。

在同一对模型上，"两个都差"的投票每月上升 1.71 个百分点，平均值为 17.1%。然而在 2024 年，较强模型在决定性投票中赢得的份额大致相同，因此排名保持不变。

来源：Rohan Paul · x.com

来源：RadarAI · aihot.news