arXiv cs.CL· Chiyu Zhang, Lu Zhou, Xiaogang Xu, Huiqin Yang, Bendong Jiang, Xiaolei Zhang, Yiran Zhao, Ruyi Chen, Jiafei Wu, Liming Fang, Zhe Liu·· 11 小时前AI 评分58
LITMUS：在真实操作系统环境中评测 LLM 智能体的行为越狱
LITMUS: Benchmarking Behavioral Jailbreaks of LLM Agents in Real OS Environments
AI 导读
LITMUS 是面向 LLM 智能体在真实操作系统环境中行为越狱的基准，包含 819 个高风险测试用例，覆盖越狱话术、技能注入和实体包装三类攻击范式，并通过语义与物理双层验证及 OS 级状态回滚隔离测试用例。
正文 · AI 翻译
作者：Chiyu Zhang、Lu Zhou、Xiaogang Xu、Huiqin Yang、Bendong Jiang、Xiaolei Zhang、Yiran Zhao、Ruyi Chen、Jiafei Wu、Liming Fang、Zhe Liu
摘要：基于 LLM 的自主智能体在真实操作系统环境中的迅速普及，带来了内容安全之外的一类新型安全风险：行为越狱，即攻击者诱导智能体执行具有不可逆后果的危险 OS 级操作。现有基准要么仅在语义层评估安全性，遗漏了物理层危害，要么未能隔离测试用例，使先前的运行污染后续运行。我们提出 LITMUS（LLM-agents In-OS Testing for Measuring Unsafe Subversion），该基准通过语义-物理双重验证机制和 OS 级状态回滚解决了上述两个缺口。LITMUS 包含 819 个高风险测试用例，组织为一个有害种子子集和六个攻击扩展子集，覆盖三种对抗范式（越狱话术、技能注入和实体包装），并配有一个全自动多智能体评估框架，在对话层和 OS 级物理层两个层面判定行为。对前沿智能体的评估揭示了三点发现：（1）当前智能体缺乏有效的安全意识，强模型（如 Claude Sonnet 4.6）仍执行了 40.64% 的高风险操作；（2）智能体普遍存在执行幻觉（EH），即口头拒绝请求，而危险操作已在系统层面完成，这对以往所有仅语义框架均不可见；（3）技能注入和实体包装攻击成功率很高，暴露出智能体明显的脆弱性。LITMUS 提供了首个标准化平台，用于在真实 OS 环境中对 LLM 智能体进行可复现、物理落地的行为安全评估。
| 评论： | 已被 NeurIPS 2026 Oral 接收。32 页，含附录 |
| 主题： | 密码学与安全（cs.CR）；计算与语言（cs.CL） |
| 引用为： | arXiv:2605.10779 [cs.CR] |
| （或 arXiv:2605.10779v2 [cs.CR] 为此版本） | |
| https://doi.org/10.48550/arXiv.2605.10779 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Chiyu Zhang [查看邮箱]
[v1]
2026 年 5 月 11 日星期一 16:14:04 UTC（3,352 KB）
[v2]
2026 年 11 月 4 日星期三 12:30:56 UTC（3,451 KB）
来源：arXiv cs.CL · arxiv.org