arXiv cs.AI· Weidi Luo, Qiming Zhang, Yihao Quan, Mingyu Jin, Jie Cai, Chaowei Xiao, Jingcheng Niu, Zhen Xiang·· 1 天前AI 评分33
Agent MechSuits:面向多轮 CLI 智能体的机制子空间安全引导
Agent MechSuits: Mechanistic Subspace Safety Steering for Multi-Turn CLI Agents
AI 导读
研究者提出 Agent MechSuits,一个白盒防御框架,通过单层内 10 维子空间的干预,对多轮 CLI 智能体做运行时安全检测与表征层缓解。团队同时发布 MAS 基准,覆盖 LLaMA-3.1-8B、Qwen-2.5-7B 和 Gemma-2-9B 在 194 个任务上的多轮执行轨迹。实验显示该框架安全检测表现强劲,并初步展现出前瞻性风险预判能力,显著减少智能体的有害动作。
正文 · AI 翻译
摘要:基于大语言模型(LLM)的命令行界面(CLI)智能体展现出卓越的自主能力,但在与外部环境的多轮交互中,它们也带来了显著的安全与滥用风险。现有安全机制主要依赖外部防护栏,在执行过程中进行细粒度行为控制的能力有限。与此同时,近期面向 LLM 安全的机制可解释性方法大多局限于单轮或越狱式问答场景,限制了其捕捉多轮智能体执行中不断演变的风险动态的能力。本文从内部视角研究多轮 CLI 智能体的安全性。我们提出 Agent MechSuits(机制子空间干预与引导),这是一个白盒防御框架,可对 CLI 智能体执行运行时安全检测与表示层缓解。与传统智能体防护栏不同,Agent MechSuits 从步骤级隐藏表示中检测有害执行状态,并通过在单层内的一个 10 维子空间中进行干预来缓解不安全行为。为支持这项研究,我们引入了机制智能体安全(MAS)基准,其中包含使用 LLaMA-3.1-8B、Qwen-2.5-7B 和 Gemma-2-9B 在 194 个任务上全面标注的多轮执行轨迹。大量实验表明,Agent MechSuits 实现了强大的安全检测性能,为前瞻性风险预判提供了初步证据,并大幅减少了 CLI 智能体的有害行为,为将机制可解释性应用于动态 LLM 智能体安全奠定了基础。
| 评论: | 被 NeurIPS'2026 接收 |
| 主题: | 人工智能(cs.AI);软件工程(cs.SE) |
| 引用为: | arXiv:2606.22673 [cs.AI] |
| (或 arXiv:2606.22673v3 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2606.22673 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Weidi Luo [查看邮箱]
[v1]
2026年6月21日周日 21:13:55 UTC(15,088 KB)
[v2]
2026年10月5日周一 17:21:29 UTC(15,081 KB)
[v3]
2026年11月12日周四 01:46:14 UTC(15,082 KB)
来源:arXiv cs.AI · arxiv.org