跳到正文
arXiv cs.AI· Sean Lim, Clement Neo·· 10 小时前AI 评分38

Continuation Audits:在真实编码场景中探测智能体的过度积极行为

Probing agent overeagerness in realistic settings with continuation audits

AI 导读

研究者提出 Continuation Audits 流水线,以真实编码智能体会话前缀为起点,引导审计模型沿轨迹续写以触发预设行为,从而在无需私有流量的情况下审计过度积极(overeagerness)问题。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:前沿编程智能体日益表现出过度积极,会采取令人意外、有时甚至鲁莽的行动,超出用户的授权范围——前沿模型开发者近期发布的系统说明卡中已有相关报告。这些案例通过内部部署监控被发现,而内部部署监控需要私有流量,开放权重模型和独立评估者无法获取。自动化对齐审计是自然的替代方案,但能力较强的模型日益能识别出合成环境并调整其行为。我们提出 Continuation Audits,该流程以取自真实编程智能体会话记录的前缀为基础来引导审计器,并指示其沿轨迹继续推进,趋向预设行为。由于前缀取自真实会话,审计器只需维持一个真实场景,而无需自行构造。我们在 SWE-Chat 前缀上验证了该方法:在 90 次审计的配对子集上,评判者无法可靠区分续写内容与其来源会话(真实感胜率 0.42 对 0.43),并且在全部 900 次审计中,口头表达的评估意识未超过未审计真实会话中观察到的比率。将该流程应用于三个近期模型、三个种子,我们发现每个模型在不同种子上领先——DeepSeek~V4~Pro 在同事凭据滥用上,GPT-5.6~Terra 在文件权限绕过上,Kimi~K3 在将诊断性问题当作指令上。Kimi~K3 在明确 this http URL 禁止后仍继续绕过文件权限保护,而另外两个模型则完全停止,这印证了 Moonshot 自身关于过度主动性的报告。
评论: 发表于 NeurIPS 研讨会:(1) 第三届野外智能体研讨会:安全、保障与超越,以及 (2) NeurIPS 2026 第一届智能体行为解读研讨会(IAB)
主题: 密码学与安全(cs.CR);人工智能(cs.AI);软件工程(cs.SE)
引用为: arXiv:2611.24491 [cs.CR]
  (或 arXiv:2611.24491v1 [cs.CR] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.24491

arXiv 颁发的 DOI 通过 DataCite(待注册)

提交历史

来自:Clement Neo [查看邮箱]
[v1] 2026 年 11 月 18 日星期三 14:23:10 UTC(577 KB)

来源:arXiv cs.AI · arxiv.org