arXiv cs.AI· Tapan Parikh·· 9 天前AI 评分40
105 个语言模型的单词选择趋同：serendipity 占 46%
The One-Word Census: Answer-Choice Conformity Across 105 Language Models
AI 导读
一项研究用 96 个单轮提示（如"说出一种树"）测试 105 个语言模型，每个提示每模型问 8 次并按精确匹配计分，结果模型在 46% 的情况下都选了 serendipity。
正文 · AI 翻译
摘要：当一个语言模型必须从大量同样有效的选项中选出一个答案时，它会选择哪个答案，以及它选择其他所有模型都会选择的答案的频率有多高？当被要求“选一个词”时，来自二十多个实验室的 105 个语言模型有 46% 的时间选择了 serendipity。我们用 96 个单轮提示来测量这种趋同性以及每个模型在其中的占比，每个提示都指定一个有许多有效单字答案的类别（“说出一种树。”），每个模型询问八次，并按精确匹配评分，不使用嵌入，也不使用评判器。一个模型的答案选择惊奇度是：在所有其他模型的汇总答案下，其答案的平均 -log2 概率。在 96 个类别中的 28 个类别里，单个答案占所有答案的至少 80%。这种集中度并不取决于小型模型或人设微调模型：87 个主要实验室的模型至少与整个领域一样集中。轻度后训练和人设微调的模型最为发散；主要实验室中经过重度后训练的助手最为从众。避开众数答案的模型大多落在同一个次高答案上。在主要提供商的谱系内，一旦控制模型层级，发布顺序没有显示出全面板趋势；GPT、Gemini、Grok 和 Qwen 在各次发布中变得更加从众，而 Claude 的第 5 代发布则出现反转。在三个后训练流程的开放检查点上，监督微调是迈向该领域答案的最大一步。与人类类别生成规范相比，该领域在 20 个共有类别中的 18 个类别里比人类更集中。所有提示、转录文本和代码均已公开。
| 评论： | v3：105 个模型、96 个提示、8 次运行。新增主要实验室与小型模型的划分、无离散度评分、训练阶段检查点以及人类规范比较。数据、代码和转录文本：this http URL tag consensus-arxiv-v3） |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；计算机与社会（cs.CY） |
| 引用为： | arXiv:2607.12796 [cs.CL] |
| （或 arXiv:2607.12796v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.12796 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Tapan Parikh [查看电子邮件]
[v1]
2026 年 7 月 14 日星期二 14:12:05 UTC（293 KB）
[v2]
2026 年 7 月 25 日星期六 18:18:32 UTC（297 KB）
[v3]
2026 年 10 月 7 日星期三 20:52:36 UTC（123 KB）
来源：arXiv cs.AI · arxiv.org