arXiv cs.CL· Yang Liu, Masahiro Kaneko, Chenhui Chu·· 11 小时前AI 评分31
说 vs. 知：平衡大语言模型的行为分布与知识分布
Speak vs. Know: Balancing Behavior and Knowledge Distributions of Large Language Models
AI 导读
研究发现，在三个 LLM 上平均有 37% 的 World Values Survey 问题中，模型言语化分布下的最可能答案与对数概率分布下的最可能答案不一致，说明 LLM 的知识与行为并不匹配。
正文 · AI 翻译
摘要：近期研究报道，直接在输出文本中表述的分布与人类意见分布的吻合程度远高于 LLM 的下一 token 对数概率分布。然而，表述分布反映的是 LLM 对某一群体意见的认知（知识分布），而模型在部署时实际输出的内容则由其对数概率分布（行为分布）决定。我们发现，当提示 LLM 预测特定群体的意见时，在三个 LLM 的平均结果中，对于 37% 的世界价值观调查问题，表述分布下最可能的答案与对数概率分布下最可能的答案不同。因此，LLM 的知识与其行为并不一致。这对评估很重要：表述分布可能在针对某一群体时得分很高，但其最可能的答案却是模型从不输出的答案，因此该得分不再描述该模型。这两种分布的对齐得分分别只反映模型的行为或其知识。因此，我们提出一种可学习的两种分布组合，它遵循行为分布的最可能答案，同时保留知识分布的形状，并用单个超参数在行为保真度与分布质量之间进行权衡。我们在三个意见调查数据集和六个模型上的实验表明，平衡分布将行为一致性相对于表述分布从平均 71.6% 提升至 95.6%，而与人类意见分布的总变差距离仅从 28.8% 略微上升至 33.8%，并且在温度缩放和跨数据集设置下仍然有效。
| 评论： | 21 页，10 张图 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.27648 [cs.CL] |
| （或 arXiv:2610.27648v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.27648 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yang Liu [查看电子邮件]
[v1]
2026 年 10 月 20 日星期二 05:07:35 UTC（1,195 KB）
来源：arXiv cs.CL · arxiv.org