arXiv cs.CL· Duy Nguyen, Lesly Miculicich, Bhavana Dalvi Mishra, Shuo Li, Krishnamurthy Dj Dvijotham, Mohit Bansal, Tomas Pfister, Long T. Le·· 6 天前AI 评分31
VEPA:面向终身 LLM 智能体的可验证演化形式化策略护栏
VEPA: Verified Evolving Formal Policy for Lifelong LLM Agent Guardrails
AI 导读
VEPA 是一个面向 LLM 智能体护栏的形式化策略可验证演化框架,将护栏表示为基于类型化智能体事件的可执行符号规则,由 LLM 依据部署反馈提出策略补丁,再经确定性验证器只接受结构有效且无冲突的策略。在 ASSEBench-Safety、ASSEBench-Security 和 ATBench 上,VEPA 持续优于基线,并在混合流、损坏反馈和更长周期等更严苛部署条件下保持优势。
正文 · AI 翻译
摘要:LLM 智能体越来越多地在敏感资源上运行,例如私有文档和可变系统状态,这可能带来严重的安全与安保风险。因此,运行时护栏应在可能不可逆的智能体操作执行之前,做出可检查、可复现且确定性的允许或拒绝决策。然而,安全与安保需求在部署前很少是完整的,因此护栏需要随着新风险的出现而持续适应。现有的自适应护栏从部署经验中学习,但它们通常通过 LLM 推理来应用安全策略,这可能导致决策不一致和策略解释含糊。另一方面,形式化护栏以确定性方式执行策略,但它们通常依赖部署前或任务特定的策略,并且没有机制来适应新观察到的风险。我们提出 VEPA,一个用于形式化智能体护栏的验证式演化的框架。VEPA 将护栏表示为对类型化智能体事件的可执行符号规则的形式化策略。在部署期间,我们使用由部署反馈引导的 LLM 来提出策略补丁,以修复新观察到的失败,同时保留先前正确的行为。然后,确定性验证器只接受结构有效且无冲突的策略。最后,证据感知的授权层仅在具有足够支持证据时才激活已验证规则,因此不确定的更新不能直接影响护栏决策。在 ASSEBench-Safety、ASSEBench-Security 和 ATBench 上,VEPA 始终优于基线,同时扩展了确定性形式化策略执行的范围。这些收益在更具挑战性的部署条件下也依然成立,包括混合流、损坏的反馈和更长的时域。
| 评论: | 33 页,14 张图 |
| 主题: | 人工智能(cs.AI);计算与语言(cs.CL);密码学与安全(cs.CR);机器学习(cs.LG) |
| 引用为: | arXiv:2610.12813 [cs.AI] |
| (或 arXiv:2610.12813v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.12813 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Duy Nguyen [查看电子邮件]
[v1]
2026 年 10 月 8 日星期四 23:49:50 UTC(1,043 KB)
来源:arXiv cs.CL · arxiv.org