跳到正文
arXiv cs.CY· Serhii Zabolotnii·· 11 小时前AI 评分31

信任不是一个分数:面向高风险 AI 智能体的运行时保障契约(RAC)

Trust Is Not a Score: Runtime Assurance Contracts for High-Risk AI Agents

AI 导读

研究提出运行时保障契约(RAC),一种策略级形式化 schema,绑定自主边界、组件资格、证据状态、转换策略、人工审核容量与非补偿性门控,强制门控失败或未知时触发重试、切换、升级、推迟或停止,聚合性能不能授权行动。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:基准测试、审计和智能体协议描述了性能、权限和修复,但没有说明在关键任务中观察到的证据应如何改变智能体的权限。我们提出运行时保障契约(RAC),这是一种策略级形式化模式,将自主边界、组件资格、证据状态、转换策略、人工审查能力和不可补偿门控绑定在一起。在 RAC 下,软指标可以用于指导路由,而失败或未知的强制门控会强制重试、切换、升级、推迟或停止;聚合性能不能授权行动。我们定义了契约、证据记录、权限规则和五条不变量。一项在智能体编码中进行的确定性故障注入研究评估了 174 个案例,每个案例对应一种不同的机制,分别在门控合取、仅评分规则和受限协议基线三种条件下进行。在已发布的示例权重和阈值下,评分规则在 63 个需要阻止的注入中放行了 56 个,并在全部 24 个需要审查的注入中放行了所有 24 个;事后调优后,它与合取规则逐案一致。对于正权重、正阈值、二元风险信号,以及每个信号在某些案例上单独触发的情况,两条规则在所有案例上一致当且仅当阈值不超过最小权重。在由另一家厂商的模型盲写的另外 124 个案例上,合取本身在 79 个注入中放行了 35 个,调优后的评分规则也是如此:缺失的检测器对任何决策规则都是不可见的。十八条手工编写的轨迹检查了版本固定的证据和审查转换。在 24 个回合的前瞻性合成留出集中,RAC 和一个单独实现的完整有状态基线都与两名盲审 LLM 评判者的标签一致。这些研究在合成案例上测试机制;它们既不能确立已部署的安全性,也不能确立跨领域的有效性。
评论: 18 页,2 幅图,5 张表。v2 修正了智能体编码研究(174 个不同机制取代 280 个索引克隆案例),并新增了一个独立的 124 案例语料库。辅助文件:决策日志、转换模型、LLM 留出集。案例文件:此 https URL(v1.1.0)。合成机制研究;不声称已部署
主题: 人工智能(cs.AI);计算机与社会(cs.CY);软件工程(cs.SE)
ACM 分类: D.2.4;I.2.11
引用为: arXiv:2609.39717 [cs.AI]
  (或此版本的 arXiv:2609.39717v2 [cs.AI])
  https://doi.org/10.48550/arXiv.2609.39717

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Serhii Zabolotnii 博士 [查看电子邮件]
[v1] 2026 年 9 月 30 日星期三 13:28:42 UTC(232 KB)
[v2] 2026 年 10 月 16 日星期五 06:24:05 UTC(242 KB)

来源:arXiv cs.CY · arxiv.org