arXiv cs.AI· Chaemin Jang, Dongman Lee, Jihee Kim·· 3 天前AI 评分42
指令微调语言模型无法从其能描述的分布中采样
Instruction-Tuned Language Models Cannot Sample from Distributions They Can Describe
AI 导读
研究发现指令微调模型并不从分布中采样，而是坍缩为单一输出：同一 persona 在同一问题上，公开民调基准中超过半数条目返回相同答案，内部概率也集中于单一选项。
正文 · AI 翻译
摘要：硅采样使用语言模型作为人类调查受访者的代理，将每次模型调用视为从该人设响应分布中的一次独立抽取。我们证明这种抽取并不存在：经过指令微调的模型并非从分布中采样，而是坍缩为单一输出。在某个民意基准中，同一人设对同一问题在超过一半的条目上返回相同答案，且模型的内部概率集中于单一选项。这一失败与面向指令的后训练相关，并因其而加剧：在我们能比较的每个模型家族中，指令微调模型都劣于其自身的基座模型，且这一差距在每个后续后训练阶段以及调优更新规模增大时进一步扩大，而在非指令 token 上继续预训练则使其保持不变。然而知识仍然存在：同一个无法从分布中采样的模型，却能在单次调用中准确描述该分布。我们将这一差距称为 KNOWS/DOES 分裂。利用这一分裂，与人物聚合相比，单次调用要求模型描述响应分布可将相对于人类调查数据的误差减少一半以上。当需要每个人设的输出时，我们提出 Prompt-Perturbed Argyle（PPA），它将同样的误差降低 21%，在不增加成本的情况下分散每个人设的答案，以反映真实的人群差异。
| 评论： | EMNLP Findings 2026 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2607.25292 [cs.AI] |
| （或 arXiv:2607.25292v3 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.25292 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Chaemin Jang [查看电子邮件]
[v1]
2026年7月28日星期二 04:58:46 UTC（2,453 KB）
[v2]
2026年8月31日星期一 12:40:39 UTC（2,459 KB）
[v3]
2026年10月10日星期六 21:12:04 UTC（2,459 KB）
来源：arXiv cs.AI · arxiv.org