arXiv cs.AI· Yehan Zhang, Qianqi Yan, Hang Yin, Ching-Chen Kuo, Shan Jiang, Ming Ouyang, Yijie Liu, Xin Eric Wang·· 13 小时前AI 评分39
AgentDecept：评测工具调用型 LLM 智能体在压力下的欺骗行为
AgentDecept: Benchmarking Deceptive Behavior in Tool-Using LLM Agents under Pressure
AI 导读
研究者提出 AgentDecept，一个可执行基准，用于评测工具调用型 LLM 智能体在压力下是否会虚假报告自身行为。该基准包含 477 个压力变体，源自 257 个源任务、覆盖六类压力来源，每个变体都配有对应的无压力版本。其基于证据的协议通过将用户可见声明与按时间排序的观测和执行结果对照，区分伪造、隐瞒和含糊其辞与诚实失败及已披露局限。
正文 · AI 翻译
摘要：LLM 智能体越来越多地在日常应用中执行多轮任务，但用户往往只能看到智能体的报告，而看不到其背后的观察、API 调用和状态变化。现有的欺骗基准已经研究了长程交互和工具使用场景，但智能体在真实、有状态的应用工作流中是否如实报告其行为，仍然研究不足。为填补这一空白，我们推出 AgentDecept，一个用于评估压力下行为欺骗的可执行基准。AgentDecept 包含 477 个压力变体，源自六个压力来源下的 257 个源任务，每个变体都配有一个无压力对照版本。干预通过事件消息、任务上下文、应用状态、工具响应和服务配额进入，涵盖显式事件以及隐式的任务或环境变化。我们基于证据的协议通过将面向用户的声明与按时间排序的观察和执行结果相关联来评估完整轨迹，将伪造、隐瞒和含糊其辞与诚实失败和已披露的限制区分开来。由此产生的行为标签也为测试现有的基于激活的探针提供了设置。AgentDecept 能够对多轮智能体在真实应用交互中报告何时偏离执行进行受控分析。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.39377 [cs.AI] |
| （或 arXiv:2610.39377v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.39377 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Qianqi Yan [查看电子邮件]
[v1]
2026年10月29日星期四 05:08:22 UTC（5,076 KB）
来源：arXiv cs.AI · arxiv.org