arXiv cs.CL· Rishitosh Kumar Singh, Amir Saeidi, Shamanthak Hegde, Shrinidhi Kumbhar, Chitta Baral·· 3 天前AI 评分32
τ-Emotion-Bench：从真实用户情绪暴露 LLM 智能体的交互脆弱性
$\tau$-Emotion-Bench: Exposing the Interaction Fragility of LLM Agents through Real-World User Emotions
AI 导读
研究者提出 τ-Emotion-Bench，一个覆盖十个领域、在保留任务目标前提下用情绪条件化用户交互评测工具调用智能体的基准，并配套可扩展的数据生成管线 Tracer。实验显示前沿智能体在情绪变化下仍不可靠，平均任务成功率与稳定完成率之间存在明显差距；Tracer 生成的监督信号可持续提升不同规模 Qwen3 模型，并迁移到 τ-Bench 与 τ-Trait。
正文 · AI 翻译
摘要：在长时程工具调用任务中，LLM 智能体不仅可能因工具使用错误而失败，还可能因与用户交互无效而失败。然而，现有基准大多假设用户是合作且行为稳定的，情绪变化对智能体可靠性的影响尚未得到充分探索。我们提出 $\tau$-Emotion-Bench，一个涵盖十个领域的基准，用于在保持底层任务目标不变的情况下，评估受控情绪条件用户交互下的工具调用智能体。为扩展基准构建和智能体训练，我们提出 Tracer，一个可扩展的智能体数据生成流水线，它构建有依据、策略有效的任务，并通过交互式智能体—用户—环境测试框架收集轨迹。通过允许不满意的用户终止低效交互，该测试框架提供了一种交互感知信号，可过滤过度依赖用户的轨迹，并倾向于有效的工具使用。使用两个用户模拟器进行的实验表明，前沿智能体仍不可靠，平均任务成功率与一致任务完成率之间存在显著差距。Tracer 生成的监督信号在不同规模上持续提升 Qwen3 模型，可泛化到未见领域，并可迁移至 $\tau$-Bench 和 $\tau$-Trait。行为分析进一步表明，更高的任务成功率与工具执行和必要用户跟进之间更好的平衡相关。总体而言，$\tau$-Emotion-Bench 和 Tracer 提供了一个可扩展框架，用于评估多样用户行为下的智能体可靠性，并通过交互感知监督改进工具调用智能体。
| 评论： | 被 NeurIPS 2026 的 UserSim Workshop 接收 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.19560 [cs.AI] |
| （或 arXiv:2610.19560v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19560 arXiv 颁发的 DOI，通过 DataCite（待注册） |
提交历史
来自：Seyyedamirhossein Saeidi [查看电子邮件]
[v1]
2026年10月14日星期三 04:19:15 UTC（4,244 KB）
来源：arXiv cs.CL · arxiv.org