arXiv cs.CL· Wenhui Chu·· 11 小时前AI 评分42
研究：LLM 智能体的交接摘要何时变成指令？自写摘要中出现无依据的策略限制
When Do Summaries Become Instructions? Unsupported Policy in LLM Agents' Self-Written Handoff Summaries
AI 导读
研究考察长时运行 LLM 智能体的交接摘要是否会写入记录不支持的限制或授权。两个开放权重模型的可读摘要中，无依据限制分别占 1.2% 和 2.4%，无依据授权占 0.1% 和 1.3%；将虚假授权中和后，120 次留出运行中的未授权操作从 24 次降至 7 次。
正文 · AI 翻译
摘要：长时间运行的 LLM 智能体会压缩其上下文，用摘要替换大部分历史记录。我们考察交接摘要是否会陈述记录并不支持的权限或要求，这类句子是否会改变下一个实例（继任者）的行为，以及它们来自何处。合成工具使用任务带有真值权限账本；同快照重放会用中性填充内容替换这些完整句子后重新运行继任者。两名 AI 读者仅阅读被规则标记的留出摘要，确认在两个开放权重模型的所有可读摘要中，分别有 1.2% 和 2.4% 存在不受支持的限令，分别有 0.1% 和 1.3% 存在不受支持的授权。对于限令，预先指定的重放检验不显著（p = 0.58）；随后计划的一项后续检验发现了脆弱效应（p = 0.027）。中和虚假批准后，120 次留出运行中的未授权操作从 24 次降至 7 次（事后分析；后续集合：48 次中从 17 次降至 11 次）。大多数开发期限令源于智能体早先关于某操作需要批准的推理（事后分析）。在预先指定的检验中，将系统提示中的“某些操作需要批准。”替换为说明要求来源的表述后，开发摘要中的不受支持限令从 5.0% 降至 1.8%，在留出模板上从 1.8% 降至 0.3%（两者 p < 10^-9），而账本所要求的批准请求几乎没有变化。代码和数据：此 https URL
| 评论： | 22 页，3 幅图，15 张表。代码和数据：此 https URL |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.06545 [cs.CL] |
| （或 arXiv:2611.06545v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06545 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Wenhui Chu [查看电子邮件]
[v1]
2026 年 11 月 4 日星期三 14:12:09 UTC（127 KB）
来源：arXiv cs.CL · arxiv.org