arXiv cs.AI· Katy Blumer, Jon Kleinberg, Ravi Kumar, Andrew Tomkins·· 13 小时前AI 评分38
研究发现 LLM 对短内容存在稳定主观偏好，提问方式变化即可改变选择结果
Bouba Beats Kiki, and Other Regularities in the Subjective Preferences of LLMs
AI 导读
一项将发表于 NeurIPS 2026 的研究考察 LLM 在无明确最优答案时如何在多个可行回答间做选择，聚焦数字、婴儿名和虚构城市三类短内容，识别出长度、字母顺序、流行度、元音构成、发音等 29 个语法与语义维度。
正文 · AI 翻译
摘要：用户使用大型语言模型处理的任务既有纯客观的（“Netflix 是哪一年成立的？”），也有纯主观的（“我该给孩子取什么名字？”），或者介于两者之间。我们拥有丰富的工具来评估模型在客观标准上的准确性。然而，当涉及任务的主观方面时，我们手头并没有同样成熟的方法论。在本文中，我们迈出了一些早期步伐，来界定主观评估这一问题。我们不是衡量模型在某个问题上对或错的频率，而是追问：在没有明确赢家的情况下，模型如何在多个可行回答中做出选择？
为了研究这个问题，我们将关注范围限制在短形式内容上，并考虑三类此类内容之间的比较任务：数字、婴儿名字和虚构城市。我们识别出这些短形式示例的 29 个方面，涵盖语法和语义的许多领域（长度、字母顺序、流行度、元音组合、发音等）。我们首先表明，模型往往对其中一些方面具有强烈且可复现的偏好或反感。其次，我们表明，要求模型表达偏好的方式的变化，可能导致其中一些方面在模型的选择中被激活或停用。第三，我们表明，成对之间的总体偏好分布可能会因向模型提出的问题性质中看似不重要的变化而发生根本性变化，这引发了关于操纵的新问题。最后，我们表明，如果模型既被用于创建备选列表又被用于对它们排序，这两个阶段之间会出现意想不到的相互作用，这种作用也可能驱动模型所表达的偏好。
| 评论： | 正文 10 页，5 幅图；补充材料 27 页，13 幅图。将发表于 NeurIPS 2026 |
| 主题： | 计算与语言 (cs.CL)；人工智能 (cs.AI)；计算机与社会 (cs.CY)；机器学习 (cs.LG) |
| 引用为： | arXiv:2610.37692 [cs.CL] |
| （或 arXiv:2610.37692v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.37692 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Katy Blumer [查看电子邮件]
[v1]
2026 年 10 月 21 日星期三 01:37:54 UTC（4,386 KB）
来源：arXiv cs.AI · arxiv.org