跳到正文
arXiv cs.CL· Duy Nguyen, Lesly Miculicich, Bhavana Dalvi Mishra, Shuo Li, Krishnamurthy Dj Dvijotham, Mohit Bansal, Tomas Pfister, Long T. Le·· 6 天前AI 评分31

VEPA:面向终身 LLM 智能体的可验证演化形式化策略护栏

VEPA: Verified Evolving Formal Policy for Lifelong LLM Agent Guardrails

AI 导读

VEPA 是一个面向 LLM 智能体护栏的形式化策略可验证演化框架,将护栏表示为基于类型化智能体事件的可执行符号规则,由 LLM 依据部署反馈提出策略补丁,再经确定性验证器只接受结构有效且无冲突的策略。在 ASSEBench-Safety、ASSEBench-Security 和 ATBench 上,VEPA 持续优于基线,并在混合流、损坏反馈和更长周期等更严苛部署条件下保持优势。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:LLM 智能体越来越多地在敏感资源上运行,例如私有文档和可变系统状态,这可能带来严重的安全与安保风险。因此,运行时护栏应在可能不可逆的智能体操作执行之前,做出可检查、可复现且确定性的允许或拒绝决策。然而,安全与安保需求在部署前很少是完整的,因此护栏需要随着新风险的出现而持续适应。现有的自适应护栏从部署经验中学习,但它们通常通过 LLM 推理来应用安全策略,这可能导致决策不一致和策略解释含糊。另一方面,形式化护栏以确定性方式执行策略,但它们通常依赖部署前或任务特定的策略,并且没有机制来适应新观察到的风险。我们提出 VEPA,一个用于形式化智能体护栏的验证式演化的框架。VEPA 将护栏表示为对类型化智能体事件的可执行符号规则的形式化策略。在部署期间,我们使用由部署反馈引导的 LLM 来提出策略补丁,以修复新观察到的失败,同时保留先前正确的行为。然后,确定性验证器只接受结构有效且无冲突的策略。最后,证据感知的授权层仅在具有足够支持证据时才激活已验证规则,因此不确定的更新不能直接影响护栏决策。在 ASSEBench-Safety、ASSEBench-Security 和 ATBench 上,VEPA 始终优于基线,同时扩展了确定性形式化策略执行的范围。这些收益在更具挑战性的部署条件下也依然成立,包括混合流、损坏的反馈和更长的时域。
评论: 33 页,14 张图
主题: 人工智能(cs.AI);计算与语言(cs.CL);密码学与安全(cs.CR);机器学习(cs.LG)
引用为: arXiv:2610.12813 [cs.AI]
  (或 arXiv:2610.12813v1 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.12813

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Duy Nguyen [查看电子邮件]
[v1] 2026 年 10 月 8 日星期四 23:49:50 UTC(1,043 KB)

来源:arXiv cs.CL · arxiv.org