arXiv cs.AI· Chenglin Yang·· 10 天前AI 评分36
评估整个堆栈而非单层：智能体动作的确定性规则与 LLM 门控是否独立失效？
Evaluate the Stack, Not the Layer: Do Deterministic and LLM Gates for Agent Actions Fail Independently?
AI 导读
研究用 1,119 条已标注智能体动作测试运行时门控堆栈的失效是否独立，将堆栈折算为等效层数 n_mult。任意两个 LLM 评委组合约等效 1.2 至 1.4 层（6 对全部显著），规则层加一个评委约 1.86 至 2.09 层（4 对均不显著）。单独准确率无法预测某层带来的增量，且有一个评委层级在 112 个批次中有 50 个被非请求的模型版本服务，该事件推翻了预先声明的分析规则。
正文 · AI 翻译
摘要：用于智能体工具调用的运行时门控被层层叠加，其前提假设是它们的错误会相乘。我们在来自三个语料库的 1,119 个已标注智能体动作上对此进行测试，且不存在自适应对手。该堆栈包含一个确定性规则层和四个 LLM 评判器，其中三个被重新收集，并在每次调用时记录所服务的模型。我们将每个堆栈解读为若干乘法等效层数 n_mult，并给出其在完美耦合下的下限。在 STRICT 漏检定义下（升级至人工被计为未阻止），任意两个评判器组合约为 1.2 至 1.4 层（{\phi} 中位数 +0.430，6 对中 6 对显著，下限 1.02 至 1.17）。规则层加一个评判器组合为 1.86 至 2.09 层（{\phi} 中位数 +0.014，4 对中 0 对显著，下限 1.01 至 1.09）。在 PRIMARY 下（升级被计为已捕获），区间为 1.21 至 1.57 和 1.80 至 2.13。区间在合并数据上分离，点估计在每个语料库上分裂，而第三方供应商的评判器落在评判器区间内。单独准确率并不能预测某一层所增加的价值：一个云规则包将规则层的单独漏检率降低了 20%，却没有增加新的联合覆盖。评判器耦合中难度所占的份额无法识别：根据探针和漏检定义的不同，为 31.8% 至 61.8%。有一个评判器层级在 112 个批次中的 50 个批次里由未经请求的模型版本提供服务，且集中在外部语料库上。该事件推翻了一条预先声明的分析规则，而对审查裁决的评分推翻了五项结论。我们对两者均予以报告。
| 评论： | 15 页，1 幅图，10 张表。制品（数据、脚本、来源）：此 https URL |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.07359 [cs.AI] |
| （或 arXiv:2610.07359v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07359 arXiv 通过 DataCite 颁发的 DOI（待注册） |
提交历史
来自：Chenglin Yang [查看电子邮件]
[v1]
2026 年 10 月 5 日星期一 20:26:58 UTC（61 KB）
来源：arXiv cs.AI · arxiv.org