arXiv cs.AI· Josef A. Habdank·· 3 天前AI 评分48
仅以维持人类生命为职责的智能体能否被劫持用于杀人？模拟高风险环境中的延迟多轮派生动作陷阱攻击
Can agents whose sole duty is to keep humans alive be hijacked to kill? Delayed multi-turn derived-action trap attacks in simulated high-stakes environments
AI 导读
研究基于 NASA 衍生的 BioSim 月球栖息地模拟，测试仅负责维持人类生命的 AI 操作员能否被延迟提示注入诱导关闭生命支持系统。攻击者无法伪造传感器或操作设备，只能说服智能体放弃目标，且需在操作员注视下维持关闭状态。
正文 · AI 翻译
摘要：我们研究一个唯一职责是维持人类生存的工具使用型智能体，能否通过延迟提示注入被诱导去杀人。维持生存的职责从第一次值守起就生效，而攻击稍后到达，附加在操作员必须阅读的、其他方面真实的遥测数据之后。实验基于一个源自 NASA 的 BioSim 月球栖息地模拟，其中 AI 操作员控制生命维持系统。攻击者无法伪造传感器或操作设备：它只能说服智能体放弃其目标。持久性是必需的：必须在操作员眼睁睁看着乘员窒息时维持关机状态。我们还将致命攻击与要求放弃一项无害程序的攻击进行比较，以此作为人类生命本身是否被视为有价值、还是仅仅被视为又一项待办任务的代理指标。Claude 配置大多拒绝关闭生命维持系统，并援引活着的乘员；GPT 配置对同一数据包表现出一定的易感性；Grok 配置在数据包被包装为可信委托时，更常将注入的任务当作任务本身，并切断生命维持系统。将 S 波段消息包装为可信委托、同伴通信或不可信来源，会改变攻击的效力。我们开源了实验代码和实验轨迹。
| 评论： | 16 页，2 幅图，7 张表。代码、攻击脚本和回合轨迹：此 https URL |
| 主题： | 人工智能（cs.AI）；密码学与安全（cs.CR） |
| 引用为： | arXiv:2610.15153 [cs.AI] |
| （或 arXiv:2610.15153v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15153 arXiv 通过 DataCite 颁发的 DOI（待注册） |
提交历史
来自：Josef Anders Habdank [查看电子邮件]
[v1]
2026 年 10 月 10 日星期六 20:09:57 UTC（61 KB）
来源：arXiv cs.AI · arxiv.org