arXiv cs.CY· Zihan Chen, Lei Nico Zheng, Di Zhu·· 3 天前AI 评分58
研究：AI 没变笨，是人类评判标准在提高
AI Isn't Getting Dumber, We're Getting Pickier: Rising Standards in Human Evaluation of Large Language Models
AI 导读
一项基于 Chatbot Arena 2023 年 5 月至 2024 年 8 月 1,260,967 条盲投的研究发现，对同一对版本固定的模型，认为“两者都差”的投票占比平均每月上升 1.71 个百分点（均值 17.1%），2024 年为每月 1.91 个百分点。
正文 · AI 翻译
摘要：用户经常抱怨 ChatGPT 等 AI 助手越来越差。有些版本确实发生了变化，但人工评估留下了第二种未经检验的可能性：做出评判的人可能变了。我们在 Chatbot Arena 上把两者区分开来，这是一个公开平台，人们在其中比较两个匿名大语言模型（LLM）的回答，并选出更好的一个或表示两者都很差。我们研究了 2023 年 5 月至 2024 年 8 月期间投出的 1,260,967 张盲投票，这些投票针对的是版本固定的模型对：带日期的厂商快照和权重固定的开放模型。对于同一对未改变的模型，表示“两者都很差”的投票占比平均为 17.1%，每月上升 1.71 个百分点，2024 年每月上升 1.91 个百分点。在 2023 年和 2024 年都经常被观察到的十四对模型中，每一对都出现了上升，从 15.5% 升至 23.3%。排名没有趋势：2024 年，较强模型在决定性投票中的占比持平。这一上升在同一投票者和同一模型对上成立，并且从首次记录投票开始在各到达队列中成立。它在控制提示词、每种主要语言、带日期的厂商快照、开放权重模型和回答长度稳定的模型，以及界面变更之间都成立。这种漂移在各模型间是共享的：从其他模型对估计出的月份效应可以将其从每个模型自身的模型对中消除。在整个平台上，平均模型预期对 2023 年平均水平能得 78%，然而“两者都很差”投票的占比最终接近其起点。这一模式符合一种随该类别进步而调整的标准，因此一个停滞不前的产品会被判定为在退步。对 AI 的绝对评判发生了漂移，而相对比较保持稳定，这种评估漂移对 LLM 排行榜以及用于训练模型的人类反馈都很重要。
| 评论： | 23 页，6 幅图，10 张表；工作论文 |
| 主题： | 人机交互（cs.HC）；人工智能（cs.AI）；计算与语言（cs.CL）；计算机与社会（cs.CY） |
| ACM 分类： | H.1.2；I.2.7；J.4 |
| 引用为： | arXiv:2611.14333 [cs.HC] |
| （或本版本使用 arXiv:2611.14333v1 [cs.HC]） | |
| https://doi.org/10.48550/arXiv.2611.14333 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Di Zhu [查看邮箱]
[v1]
2026 年 11 月 10 日星期二 16:56:16 UTC（128 KB）
来源：arXiv cs.CY · arxiv.org