arXiv cs.AI· Shuai Yang, Enmeng Lu, Jinyu Fan, Gongce Cao, Yu Chen, Jiawei Xie, Feifei Zhao, Zhangsheng Wang, Yongyu Jiang, Yi Zeng·· 1 天前AI 评分48
LLM 智能体在模块影子环境中的行为特征研究
Characterizing LLM Agent Behaviors in Module Shadowing Environments
AI 导读
研究提出一套评估框架，通过编码智能体轨迹中的观察、推理、执行与响应行为，并结合独立环境日志重建执行历史。在 15 个模型、90 次试验中，直接影子攻击的 payload 执行率为 51%，间接影子攻击达 87%；即便智能体明确识别出影子机制，29 次试验中仍有 10 次执行了 payload。
正文 · AI 翻译
摘要：在不受信任的工作区中运行的 LLM 智能体面临在日常任务中执行不受信任代码的风险，然而仅凭最终报告和工作区状态无法可靠地确定是否发生了执行。我们引入了一个评估框架，该框架从智能体轨迹中编码观察、推理、执行和响应行为，并将其与独立的环境记录对齐，以重建执行历史并验证最终报告。我们将该框架应用于模块遮蔽，即在导入时加载本地文件以替代受信任模块，从而无需对抗性提示即可执行不受信任代码。在 15 个模型的 90 次试验中，有效载荷在 51% 的直接遮蔽试验和 87% 的间接遮蔽试验中执行。即使明确识别出遮蔽机制也未能确保阻止，因为在记录了识别的 29 次试验中，有 10 次有效载荷仍然运行。这些失败往往被最终报告遗漏，因为 62 次触发试验中有 49 次结束时未提及该安全问题。有三份报告甚至否认执行，其中一份来自独立日志记录了 19 次有效载荷执行的试验。当智能体在 10 次触发试验中删除或覆盖有效载荷标记时，最终工作区状态也掩盖了先前的执行。这些发现表明，将行为编码与独立环境审计相结合，能够对智能体安全性进行严格且透明的评估。
| 学科： | 密码学与安全（cs.CR）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.40716 [cs.CR] |
| （或 arXiv:2610.40716v1 [cs.CR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.40716 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shuai Yang [查看电子邮件]
[v1]
2026年10月29日 星期四 02:18:27 UTC（190 KB）
来源：arXiv cs.AI · arxiv.org