NOMOS：将书面政策编译为 LLM 智能体静态验证工具调用门禁

查看 PDF HTML（实验性）

摘要：使用工具的 LLM 智能体会违反其被部署来执行的政策，且往往是悄无声息地违反。此前的防御手段要么手写规则，要么对每个动作查询 LLM 验证器，要么通过重量级形式化机制编译政策。朴素的编译会失败：提取出的规则会阻止满足其自身前置条件的工具，或者读取其工具并不具备的参数。NOMOS 是一个四遍编译器，可将自然语言政策转换为确定性的工具调用门控；仅凭工具模式级别的静态验证（无需证明器、求解器或 LLM）就能修复或拒绝 37%（航空）和 13%（零售）的候选规则，若没有这一步，大多数交付的规则都无法运行。在未防御的对话记录上重放编译后的规则，会标记出拒绝合法工作的绑定（某个开发绑定拒绝了 95.9% 的任务通过调用）；没有任何评估绑定被标记。在 $\tau^2$-bench 上，该门控将状态变更调用中违反参考编码条款的比例从 66.3% 降至 2.6%（航空），从 30.8% 降至 6.9%（零售），并在 $2 \le k \le 4$ 时显著提升航空任务成功率；26B 的本地编译并不比手写或前沿模型编译的规则显著更差。与 AgentDojo 自带的防御不同，它在银行业务上达到了零攻击成功率（ASR），其中九个攻击家族坍缩为三条结构性规则。在另外三个套件上，其 ASR 至多为 3.6%，来自没有工具调用可治理的目标，以及一个比其条款更弱的绑定所允许的一次写入；第二个智能体模型 Llama-3.3-70B 在两个基准上复现了该效果。决策耗时微秒级，无需调用 LLM，代价是依赖于领域的良性效用损失；编译在本地基于开放权重的 gemma-4-26B 运行。

提交历史

来自：Min-Young Yu [查看电子邮件]
[v1] 2026 年 10 月 8 日星期四 00:23:22 UTC（382 KB）