arXiv cs.CL· Shuhaib Mehri, Philippe Laban, Sumuk Shashidhar, Marwa Abdulhai, Sergey Levine, Michel Galley, Dilek Hakkani-T\"ur·· 10 小时前AI 评分31
如何测量并缩小真实用户与模拟用户行为之间的分布差距
Measuring and Mitigating the Distributional Gap Between Real and Simulated User Behaviors
AI 导读
研究者提出一种测量真实与模拟用户行为分布差距的方法：从对话中提取用户行为表征，经聚类量化为离散分布后计算散度指标。该方法首次系统评估了 24 个基于 LLM 的用户模拟器在编程与写作任务上的表现，发现其与真实用户存在较大分布差距，且差距随模型族、规模和行文维度而变化。将行为互补的模拟器组合使用，可使整体分布比单一模拟器更接近真实用户。
正文 · AI 翻译
摘要：随着用户模拟器越来越多地用于 AI 助手的交互式训练与评估，它们必须能够体现真实用户的多样行为，这一点至关重要。现有工作训练用户模拟器生成类人回复，但它们能否捕捉真实用户行为广泛而异构的分布，仍是一个悬而未决的问题。在本工作中，我们提出一种方法来衡量真实用户行为与模拟用户行为之间的分布差距，并通过人类研究和消融实验加以验证。给定真实对话与模拟对话的数据集，我们的方法从每段对话中提取用户行为的表示，通过聚类将其量化为离散分布，然后计算散度指标。我们首次对 24 个基于 LLM 的用户模拟器在编码和写作任务上进行了系统评估，并揭示了其与真实用户之间存在较大分布差距，且该差距随模型家族、规模和行 为维度的不同而变化。两两比较表明，大多数模拟器的行为相似，少数则表现迥异。与单独使用任一模拟器相比，将行为互补的模拟器组合起来可使所得分布更接近真实用户。最后，对聚类进行 TF-IDF 分析，揭示了模拟器所捕捉、遗漏和幻觉出的可解释行为模式。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2605.07847 [cs.CL] |
| （或 arXiv:2605.07847v2 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2605.07847 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Shuhaib Mehri [查看邮箱]
[v1]
2026年5月8日星期五 15:09:25 UTC（15,460 KB）
[v2]
2026年11月6日星期五 08:52:32 UTC（15,460 KB）
来源：arXiv cs.CL · arxiv.org