arXiv cs.CL· Minwoo Kang, T\'ea Wright, Seun Eisape, Ayush Raj, Suhong Moon, Joseph Suh, Alane Suhr, David M. Chan, John Canny·· 9 天前AI 评分30
预训练 Persona Mixture Models 与串联模型用于人类模拟
Pretrained Persona Mixture Models and Tandem Models for Human Simulation
AI 导读
研究提出 Persona Mixture Models（PMMs），用特定人物的短对话样本将 LLM 绑定到人格，比指令微调模型的角色扮演预测更准确，并保留更多人类对话中的词汇、语义和语用多样性。PMMs 目前以预训练基础模型实现，但可能产生域外对话并在长上下文中丢失人物内部状态。为此提出的串联模型将预训练模型与指令微调监督器结合，在实验中取得最佳整体准确率与多样性。
正文 · AI 翻译
摘要：我们在此论证，当前 LLM 人类模拟中的主流做法：提示经过指令微调的助手语言模型去角色扮演人物角色，是不准确的，并且会产生刻板化的预测（缺乏自然多样性）。此前已有研究表明，LLM 可以通过自然主义的自由文本对话绑定到人物角色，从而避免刻板化。在此我们表明，绑定也可以通过来自特定人物的简短、个体化对话样本实现。人口统计信息可以稍后添加，只需查询模型即可，且不会产生负面影响。我们使用术语“人物角色混合模型”（Persona Mixture Models，PMMs）来指代校准良好的人类模型，目前实现为预训练基础模型。我们表明，PMMs 比指令微调模型产生更准确的预测，并保留了人类对话中更多的词汇、语义和语用多样性。我们在涵盖开放域文本、人机聊天以及人类说话者之间面向任务对话的多样化语料库上，衡量 LLM 模拟人类对话者的真实性和多样性。然而，基础预训练模型可能产生域外对话，并可能在长上下文中丢失人类的部分内部状态。我们提出并探索串联模型，它将预训练模型与指令微调监督器相结合。在我们的实验中，串联模型实现了最佳的整体准确性和多样性。
| 评论： | 正文 11 页，含附录 36 页。7 幅图。8 张表 |
| 主题： | 计算与语言（cs.CL） |
| ACM 分类： | I.2.7 |
| 引用为： | arXiv:2609.22607 [cs.CL] |
| （或 arXiv:2609.22607v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.22607 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：John Canny [查看电子邮件]
[v1]
2026 年 9 月 18 日星期五 21:50:35 UTC（7,604 KB）
[v2]
2026 年 10 月 7 日星期三 22:28:28 UTC（7,612 KB）
来源：arXiv cs.CL · arxiv.org