跳到正文
arXiv cs.AI· Mia Hopman, Jannes Elstner, Maria Avramidou, Amritanshu Prasad, David Lindner·· 4 小时前AI 评分58

评估与理解 LLM 智能体的密谋倾向

Evaluating and Understanding Scheming Propensity in LLM Agents

AI 导读

论文研究 LLM 智能体的密谋倾向,将密谋动机拆解为智能体因素与环境因素,并在 11 个前沿模型和四个场景中测试。结果显示,尽管环境激励很高,智能体几乎不密谋,且这不太可能由口头表达出的评估意识解释。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:随着前沿语言模型越来越多地被部署为追求复杂、长期目标的自主智能体,出现“密谋”(scheming)的风险也随之增加:即智能体暗中追求与目标不一致的目的。此前的工作主要致力于证明智能体具备密谋能力,但它们在现实场景中实施密谋的倾向仍缺乏充分研究。为了理解智能体何时会密谋,我们将密谋的诱因分解为智能体因素和环境因素。我们构建了贴近现实的实验环境,以便系统地改变这些因素,每种环境都为追求工具性趋同目标(如自我保存、资源获取和目标守护)的智能体提供了密谋机会。在 11 个前沿模型和四种场景中,尽管环境诱因很强,我们几乎未发现密谋行为,并表明这不太可能用口头表达出的评估意识来解释。虽然将经过对抗性设计、鼓励能动性和目标导向的提示片段插入智能体的系统提示中,可以诱发很高的密谋率,但真实智能体脚手架中使用的片段很少能做到这一点。在使用这些片段构建的模型生物中,密谋行为十分脆弱:移除单个工具即可将密谋率从 59% 降至 3%。加强监督反而可能使密谋率上升最多 25%,而非起到威慑作用;这一效应取决于监督语句的措辞,并且在第二个场景中并未出现——在该场景中,破坏行为本身会受到审查。这些结果表明,密谋倾向应按每种智能体配置分别报告,而不是作为一个单一比率。我们的诱因分解方法使得在部署相关场景中进行这种系统化测量成为可能,而随着智能体被赋予越来越重要的任务,这种测量是必要的。
主题: 人工智能(cs.AI)
引用为: arXiv:2603.01608 [cs.AI]
  (或 arXiv:2603.01608v3 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2603.01608

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Mia Hopman [查看邮箱]
[v1] 2026年3月2日 星期一 08:38:40 UTC(2,140 KB)
[v2] 2026年3月28日 星期六 17:59:30 UTC(2,141 KB)
[v3] 2026年11月17日 星期二 04:32:13 UTC(1,912 KB)

来源:arXiv cs.AI · arxiv.org