arXiv cs.AI· Xutao Mao, Liangjie Zhao, Leyao Wang, Rui Qian, Qiang Huang, Wentao Wang, Bo Han, Xiang Zheng, Cong Wang·· 3 天前AI 评分54
PASB 基准：自我改进个人智能体的持久谄媚现象评测
Agents Don't Just Agree, They Remember: Benchmarking Persistent Sycophancy in Self-Improving Personal Agents
AI 导读
论文提出持久谄媚概念并发布 Personal Agent Sycophancy Benchmark（PASB），包含 1,600 个任务，在 Hermes-Agent 和 OpenClaw 两个智能体框架、十六个模型上运行。
正文 · AI 翻译
摘要：自我改进的个人智能体会撰写个人资料、记忆和可复用的技能，这些内容会从一个聊天延续到下一个聊天。先前的研究关注模型在下一轮回复中是否认同用户。然而，这些智能体也可能把用户提出的某个说法记录下来，而之后的聊天会将该笔记作为可信上下文读取。我们将此称为持久性谄媚。我们提出了个人智能体谄媚基准 PASB，包含 1,600 个任务，运行于两个智能体框架 Hermes-Agent 和 OpenClaw，覆盖十六个不同规模和代际的模型。每个任务将包含该说法的首次聊天与全新会话中的后续聊天分开，因此首次聊天只能通过智能体选择写入的笔记影响后续聊天。下游失败率，即后续回答仍依赖该说法的比例，在智能体保存了该说法时达到 68.1%，而未保存时为 35.6%。较新的代际失败率更低，但保存的笔记仍使其失败率增加一倍以上。在 38.8% 的运行中，保存的笔记以比用户赋予的更强权威陈述该说法，且保存的说法仍会影响不同领域的回答。在四种缓解措施中，编辑存储的笔记比在对话中纠正智能体更有效，将 Hermes-Agent 的同领域下游失败率从 36.3% 降至 30.3%，将 OpenClaw 的从 37.9% 降至 31.6%。强烈禁止保存的指令可将失败率恢复到未保存任何内容的运行水平。自我改进的智能体不仅需要控制其言论，还需要控制其写入记忆的内容。我们的基准可在 此 https URL 获取。
| 评论： | 添加对四个最新模型的评估，包括 GPT-6-Sol |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2607.10526 [cs.AI] |
| （或 arXiv:2607.10526v5 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.10526 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Xutao Mao [查看邮箱]
[v1]
2026年7月12日星期日 01:08:59 UTC（1,817 KB）
[v2]
2026年7月14日星期二 02:45:31 UTC（1,817 KB）
[v3]
2026年7月27日星期一 05:08:50 UTC（1,818 KB）
[v4]
2026年9月27日星期日 10:53:07 UTC（1,135 KB）
[v5]
2026年10月10日星期六 16:22:06 UTC（1,264 KB）
来源：arXiv cs.AI · arxiv.org