arXiv cs.AI· Hoang Phan, Dat Huynh, Andrey Zhmoginov, Qi Zeng, Wancen Mu, Yue Cao, Shengjie Bi, Yun He, Changdae Oh, Deren Lei·· 9 天前AI 评分29
MIMESIS：将用户模拟器训练为交互式智能体的训练环境
MIMESIS: Learning User Simulators as Training Environments for Interactive Agents
AI 导读
MIMESIS 是一个专为用户模拟打造的用户模拟器，基于真实人机对话训练，融入显式推理监督和 13 种真实用户行为模式，其 9B 模型在 SOUL-Index 上达到 65.7，超过最强前沿模型。
正文 · AI 翻译
摘要：训练和评估交互式语言智能体通常需要丰富的用户交互，但收集人类反馈成本高昂且难以扩展。模拟用户提供了一种可扩展的替代方案，但它们必须既像真实用户行为，又能为智能体提供有用的学习体验。相比之下，大多数智能体训练框架依赖现成的助手 LLM，其有用性可能使它们与真实用户相比过于合作、过于明确且行为同质化。我们提出 MIMESIS，一个专门构建的用户模拟器，基于人类对话进行训练，并带有显式推理监督和源自真实用户交互的 13 种现实行为模式。在实证上，我们的 9B 模型达到了 65.7 的 SOUL-Index，超越了最强的前沿模型。与在 RealUserSim 和 SimulatorArena 上最强的基线 Claude-Opus-5 相比，MIMESIS 分别将行为保真度提高了 13.4 分，并将图灵距离降低了 3.6 分。随后我们冻结模拟器，并使用多轮强化学习通过与冻结模拟器交互来训练智能体。在八个环境中，使用 MIMESIS 训练在所有九个未见过的用户模拟器下都比使用 GPT-5.5 训练产生更好的智能体性能，表明对新用户模拟器具有更强的泛化能力。此外，我们提出教练式同策略自蒸馏（CSD），它利用模拟器生成的私有推理轨迹和后续话语作为关于智能体满足用户需求程度的反馈。教练将这些信息转换为简洁的教练笔记，描述智能体如何更好地预测用户需求并在交互过程中调整其行为。CSD 将这些反馈转化为超越稀疏任务奖励的密集、token 级监督，在所有九个评估用户模型上产生进一步收益。
| 评论： | 项目页面：this https URL |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.09484 [cs.AI] |
| （或 arXiv:2610.09484v2 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.09484 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Hoang Phan [查看电子邮件]
[v1]
2026 年 10 月 7 日星期三 05:37:09 UTC（8,812 KB）
[v2]
2026 年 10 月 8 日星期四 17:15:34 UTC（8,813 KB）
来源：arXiv cs.AI · arxiv.org