arXiv cs.AI· Sean Lim, Clement Neo·· 10 小时前AI 评分38
Continuation Audits:在真实编码场景中探测智能体的过度积极行为
Probing agent overeagerness in realistic settings with continuation audits
AI 导读
研究者提出 Continuation Audits 流水线,以真实编码智能体会话前缀为起点,引导审计模型沿轨迹续写以触发预设行为,从而在无需私有流量的情况下审计过度积极(overeagerness)问题。
正文 · AI 翻译
摘要:前沿编程智能体日益表现出过度积极,会采取令人意外、有时甚至鲁莽的行动,超出用户的授权范围——前沿模型开发者近期发布的系统说明卡中已有相关报告。这些案例通过内部部署监控被发现,而内部部署监控需要私有流量,开放权重模型和独立评估者无法获取。自动化对齐审计是自然的替代方案,但能力较强的模型日益能识别出合成环境并调整其行为。我们提出 Continuation Audits,该流程以取自真实编程智能体会话记录的前缀为基础来引导审计器,并指示其沿轨迹继续推进,趋向预设行为。由于前缀取自真实会话,审计器只需维持一个真实场景,而无需自行构造。我们在 SWE-Chat 前缀上验证了该方法:在 90 次审计的配对子集上,评判者无法可靠区分续写内容与其来源会话(真实感胜率 0.42 对 0.43),并且在全部 900 次审计中,口头表达的评估意识未超过未审计真实会话中观察到的比率。将该流程应用于三个近期模型、三个种子,我们发现每个模型在不同种子上领先——DeepSeek~V4~Pro 在同事凭据滥用上,GPT-5.6~Terra 在文件权限绕过上,Kimi~K3 在将诊断性问题当作指令上。Kimi~K3 在明确 this http URL 禁止后仍继续绕过文件权限保护,而另外两个模型则完全停止,这印证了 Moonshot 自身关于过度主动性的报告。
| 评论: | 发表于 NeurIPS 研讨会:(1) 第三届野外智能体研讨会:安全、保障与超越,以及 (2) NeurIPS 2026 第一届智能体行为解读研讨会(IAB) |
| 主题: | 密码学与安全(cs.CR);人工智能(cs.AI);软件工程(cs.SE) |
| 引用为: | arXiv:2611.24491 [cs.CR] |
| (或 arXiv:2611.24491v1 [cs.CR] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.24491 arXiv 颁发的 DOI 通过 DataCite(待注册) |
提交历史
来自:Clement Neo [查看邮箱]
[v1]
2026 年 11 月 18 日星期三 14:23:10 UTC(577 KB)
来源:arXiv cs.AI · arxiv.org