arXiv cs.CL· Nelson Jo·· 11 小时前AI 评分31
LLM 的分布对齐及其泛化特性研究
Distributional Alignment of LLMs and Its Generalization Properties
AI 导读
研究提出让 LLM 输出分布与人类参考分布对齐的方法，并在两个大规模基准上验证：模型能实现分布对齐，且可泛化到同领域的未见问题。跨主题泛化取决于主题间关联（如政治问题与机构信任相关），但对齐后的 LLM 可能以出人意料的方式退化，例如丧失创造力，说明其泛化特性本质上不可预测且不稳定。
正文 · AI 翻译
摘要：大语言模型越来越多地被用于模拟和探究人类行为，例如用于问卷调查。对于这些应用，一个关键特性是输出满足分布对齐：使其输出分布与某个参考分布（此处指人类分布）相匹配。实现分布对齐的一个障碍是从小规模训练数据中进行泛化。在本工作中，我们研究（1）如何对 LLM 进行分布对齐；（2）对齐后的 LLM 如何泛化到未见样本以及不相关的主题和任务。使用两个大规模基准，我们发现 LLM 确实能够实现分布对齐，并泛化到同一领域的未见问题。跨主题泛化取决于主题之间的关系（例如，关于政治的问题与对机构的信任相关）。然而，对齐后的 LLM 可能以令人惊讶的方式退化（例如，失去其创造力），这表明其泛化特性本质上是不可预测且不稳定的。
| 评论： | IJCAI 2026 增强民主研讨会 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.31687 [cs.CL] |
| （或 arXiv:2610.31687v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.31687 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Nelson Jo [查看电子邮件]
[v1]
2026年10月5日星期一 12:13:18 UTC（646 KB）
来源：arXiv cs.CL · arxiv.org