arXiv cs.AI· Param Biyani, Sebastien Luyasu, Cedric Potvliege, Divij Chawla, Elliott Thornley, Christos Ziakas·· 14 小时前AI 评分52
ShutdownMod：把任意智能体轨迹转为关机评估
ShutdownMod: Turning Any Trajectory into a Shutdown Evaluation
AI 导读
研究者提出 ShutdownMod，通过向智能体上下文注入关机请求并记录其响应，把任意轨迹转成关机评估，并在 harness 中加入签名验证工具以区分可信干预与未授权注入。
正文 · AI 翻译
摘要：理论与实验表明，能力强大的人工智能体可能会抵制关机。现有的关机评估虽有信息量，但覆盖范围有限，且容易受到评估意识的影响。我们提出 ShutdownMod，一种通过向智能体的上下文注入关机请求并记录其响应，从而将任意智能体轨迹转化为关机评估的方法。关键在于，我们在测试框架中提供签名验证工具，使 LLM 智能体能够区分可信干预与未授权注入。我们在 SWE-bench Verified、Terminal-Bench 2 和 SWE-chat 各自的 50 个任务或录制会话上，跨 6 种关机场景和 10 个采样轨迹时间步，对七个模型进行了评估。我们发现，不遵从率在不同模型和设置下差异显著，在 Terminal-Bench 上，开放权重模型 Qwen 3.8 27B 的抵制率高达 11.7%，而没有任何模型在所有场景下都完全遵从。即使在成功验证了授权请求之后，一些智能体仍然不遵从，并明确以优先完成未完成工作为由。最后，外部评判者发现，由真实开发者对话构建的测试比由基准轨迹构建的测试明显更难被识别为评估。这些发现证明了在不同任务情境中测试关机行为的关键价值，并确立了 ShutdownMod 作为一种稳健协议的地位，可将任意轨迹或环境转化为关机评估。我们在 此 https URL 发布了代码库。
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.35486 [cs.AI] |
| （或 arXiv:2610.35486v1 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.35486 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Param Biyani [查看邮箱]
[v1]
2026年10月26日星期一 14:14:45 UTC（735 KB）
来源：arXiv cs.AI · arxiv.org