arXiv cs.AI· Yutao Xie, Jingbo Yang, Guanyu Yao, Xiaoyu Yang, Duo Ding, Shiyu Chang·· 3 天前AI 评分31
TIPER：通过任务完整性约束下的人格演化揭示 LLM 智能体的鲁棒性弱点
Uncovering Robustness Weaknesses in LLM Agents via Persona Evolution with Task-Integrity Constraints
AI 导读
研究者提出 TIPER，一种保持任务完整性的人格演化方法，通过反思引导的行为变异和任务级 Pareto 选择，自动发现能暴露智能体鲁棒性弱点的用户策略。在四个交互式智能体基准上，TIPER 在全部 12 个 GPT-5.4 设置中降低留出 avg@3 分数 5.8 至 33.7 个百分点，在覆盖七个智能体的全部 28 个智能体-领域组合中观察到中位数 22.9 个百分点的下降。
正文 · AI 翻译
摘要：交互式智能体评估通常依赖标准化的基于 LLM 的用户模拟器，这些模拟器表现出广泛的合作行为，可能忽视在多样但真实的用户交互下出现的失败。这可能导致对智能体鲁棒性的估计过于乐观，并为训练能够泛化到不同用户的智能体提供有限的失败信号。现有方法大多依赖预定义的用户行为，可能遗漏智能体或领域特定的弱点，而面向失败的搜索可能通过使底层任务失效而非暴露真正的鲁棒性失败来降低任务成功率。为填补这一空白，我们提出 TIPER，一种保持任务完整性的角色演化方法，能够自动发现暴露鲁棒性弱点的智能体特定用户策略，同时保持底层任务有效且可解。TIPER 通过反思引导的行为变异和任务完整性约束下的逐任务帕累托选择来演化持久用户角色。在四个交互式智能体基准上，TIPER 在所有 12 个 GPT-5.4 设置中均产生更低的留出 avg@3 分数，观察到的降幅为 5.8 至 33.7 个百分点；在涵盖七个智能体的全部 28 个智能体-领域对中，观察到的降幅中位数为 22.9 个百分点。进一步分析得出一个行为到失败的分类体系，将发现的用户行为与反复出现的智能体失败模式联系起来。总之，这些结果表明 TIPER 能够对交互式智能体进行更具诊断性的鲁棒性评估，并为未来智能体鲁棒性改进提供有信息量的失败分析。代码仓库：this https URL。
| 评论： | 39 页，4 张图 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.16155 [cs.AI] |
| （或 arXiv:2610.16155v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16155 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yutao Xie [查看邮箱]
[v1]
2026 年 10 月 12 日星期一 04:30:20 UTC（1,549 KB）
来源：arXiv cs.AI · arxiv.org