arXiv cs.CL· Harshita Chopra, Kshitish Ghate, Aylin Caliskan, Tadayoshi Kohno, Chirag Shah, Natasha Jaques·· 10 天前AI 评分37
Persona Policies：为 LLM 智能体生成真实用户画像以提升评测鲁棒性
Beyond Cooperative Simulators: Generating Realistic User Personas for Robust Evaluation of LLM Agents
AI 导读
研究者提出 Persona Policies（PPol），一种即插即用的控制层，通过进化编码智能体自动发现用户画像生成程序，为 LLM 用户模拟器注入真实的行为差异。
正文 · AI 翻译
摘要：大型语言模型（LLM）智能体越来越多地被部署在需要与各类用户交互的场景中，这些用户可能表达不清、缺乏耐心或不愿分享信息。然而，大规模收集真实交互数据仍然成本高昂。该领域已转向使用基于 LLM 的\emph{用户模拟器}作为替代，但这些模拟器继承了其底层模型的行为：合作且同质化。因此，在模拟中表现强劲的智能体往往在真实人类交互中失败。为缩小这一差距，我们提出了 Persona Policies（PPol），这是一个即插即用的控制层，可在保留原始任务目标的同时，在用户模拟器中引入真实的行为变化。我们没有手工设计人物角色，而是采用进化编码智能体来发现针对真实用户对话中类人性和行为覆盖度优化的角色生成程序。进化出的程序可为该领域中的任何任务生成多样、类人的角色。在 4 个基准测试——包括 $\tau^2$-bench Retail 和 Airline、ColBench 以及 WildChat——上，进化后的 PPol 相比基线模拟器在适应度得分上取得 28-72% 的绝对提升。在盲评中，标注者将 PPol 用户判定为“人类”的比例为 80.4%，几乎是基线模拟器的 2 倍。使用 PPol 训练智能体也能提升真实世界表现：我们与真人智能体实时交互的用户研究表明，使用我们的方法进行微调相比默认基线将任务成功率提升了 +23%。因此，PPol 提供了一种在不改变底层任务的情况下增强基于模拟器的评估与训练的新方法。
| 评论： | 预印本，审稿中 |
| 学科： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2605.12894 [cs.AI] |
| （或本版本的 arXiv:2605.12894v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2605.12894 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Harshita Chopra [查看邮箱]
[v1]
2026 年 5 月 13 日星期三 02:16:51 UTC（2,309 KB）
[v2]
2026 年 10 月 7 日星期三 05:02:45 UTC（5,048 KB）
来源：arXiv cs.CL · arxiv.org