跳到正文
arXiv cs.CL· Silviu Pitis, Parand A. Alamdari, Jessica Tang, Toryn Q. Klassen, Sheila A. McIlraith·· 23 小时前AI 评分38

VFM:面向智能体治理的多条自然语言准则运行时验证器

Runtime Verification of Multiple Natural Language Criteria for Agent Governance

AI 导读

研究者提出 VFM,一种树注意力验证器,可对 N 条自然语言准则并行打分并给出每条准则的独立三值判定。微调后的 VFM-4B 在合成治理基准上超过 GPT-5.4,在 DynaBench 多准则基准的轨迹级失败检测上超过 DynaGuard-4B。单张 H100 上,VFM-4B 对 4K token 上下文评估 1,000 条准则耗时不到 2 秒、显存占用低于 11 GB。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:AI 智能体受数百条自然语言准则约束,但现有验证器无法高效地针对大量此类准则评估智能体的输出,并报告哪些准则被满足、被违反或不适用。我们提出 VFM,一种树注意力验证器,它编码共享上下文和目标文本,并行地对 N 条自然语言准则打分,返回每条准则独立的三元判定结果。VFM 在 CriteriaBank 上预训练,该语料库包含 394K 个(上下文、目标、准则、判定)元组,涵盖超过 321K 条不同的准则字符串。微调后的 VFM-4B 在合成治理基准上优于 GPT-5.4。在 DynaBench 多准则基准上,它在轨迹级故障检测方面优于 DynaGuard-4B,且其逐准则判定结果能定位被违反的规则,并支持有针对性地升级至更大的思维链评判器。我们表明,CriteriaBank 预训练能改善跨域迁移,尤其是在低数据情形下,同时在完整数据下与强直接微调对照组相当。在单块 H100 上,VFM-4B 在不到 2 秒内针对 4K token 的上下文评估 1,000 条准则,显存占用 <11 GB,适合运行时验证。
评论: 已被 NeurIPS 2026 接收
主题: 计算与语言(cs.CL);人工智能(cs.AI);机器学习(cs.LG)
引用为: arXiv:2611.23074 [cs.CL]
  (或 arXiv:2611.23074v1 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.23074

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Silviu Pitis [查看邮箱]
[v1] 2026 年 11 月 17 日星期二 17:01:00 UTC(1,989 KB)

来源:arXiv cs.CL · arxiv.org