arXiv cs.AI· Moriya Dechtiar, Daniel Martin Katz, Michael J. Bommarito II, Hongming Wang, Sylvain Jaume·· 23 小时前AI 评分26
RagHarnessDebugger:Jev 引导的智能体 RAG 合同推理修复审计框架
RagHarnessDebugger: Jev-Guided Agentic RAG in Contract Inference Repair Auditing
AI 导读
RagHarnessDebugger 是一个记录并审计智能体 RAG 每次修复决策的框架,在 ContractNLI 保密协议上暴露了聚合指标掩盖的失败模式,开发集与复现集分别有 77% 和 76% 的可用修复未被实现。
正文 · AI 翻译
摘要:使用检索增强生成(RAG)的智能体系统必须通过收集更多证据、测试替代策略并决定是否需要修复、何时修复以及修复什么来修复自己的答案。然而,当准确率等指标可能具有误导性时,我们如何知道系统的修复是否有效?我们提出了 RagHarnessDebugger,这是一个框架,它在用于合约推断的 Jev 引导 harness 中记录每个修复决策,并审计该记录,以便对 RAG 修复过程中做出的所有决策进行完整调试。RagHarnessDebugger 检查每个跟踪是否完整、每个验证是否适用于其所计入的候选答案,以及接受规则可以触及哪些答案。我们在 ContractNLI 保密协议上使用两个阅读器模型和一组单独合约的复现集测试了我们的方法。我们调试器的审计层暴露了在聚合指标下被隐藏的失败模式,策略接受成本(修复与回归)以及策略接受差距:在开发集和复现集上,分别有 77% 和 76% 的可用但未实现的修复。我们的审计,连同带标签的错误分析和重放机制,允许沿着执行路径一直追踪到最终决策——揭示缺失的修复在哪里丢失。我们修订后的 harness 在开发合约上将准确率比最初的仅 BM25 基线提高了 3.6 个百分点,在复现集上提高了 3.7 个百分点,甚至将我们的完整合约访问参考分数在开发集上提高了 1.1,在复现集上提高了 2.4。虽然我们在这里的工作展示了调试器如何对遗漏的修复进行决策根因分析,但其真正价值在于提供这种调试器以实现判断可见性,从而服务于 RAG 决策及其可解释性的持续改进。
关键词:智能体 RAG、AI 证据修复、harness 可解释性、反事实重放、Jev、ContractNLI
| 主题: | 人工智能(cs.AI);多智能体系统(cs.MA);软件工程(cs.SE) |
| 引用为: | arXiv:2611.22991 [cs.AI] |
| (或此版本的 arXiv:2611.22991v1 [cs.AI]) | |
| https://doi.org/10.48550/arXiv.2611.22991 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Moriya Dechtiar [查看电子邮件]
[v1]
2026年11月17日星期二 16:07:17 UTC(228 KB)
来源:arXiv cs.AI · arxiv.org