arXiv cs.AI· Sachin Gupta·· 10 小时前AI 评分31
AgentTrustCI：为 Java LLM 智能体提供构建期策略、接地与轨迹测试的 JUnit 5 框架
AgentTrustCI: Build-Time Policy, Grounding, and Trajectory Tests for Java LLM Agents
AI 导读
AgentTrustCI 是一个基于 Java/JUnit 5 的框架，将 LLM 智能体是否选用允许工具、答案是否基于工具输出、是否遵循既定工作流等应用层预期，表达为对录制轨迹的策略、接地与轨迹检查，并支持确定性回放以实现可重复的构建期测试。
正文 · AI 翻译
摘要：基础设施安全并不能确定 LLM 智能体是否选择了允许的工具、其回答是否基于工具输出，或是否遵循了必需的工作流。AgentTrustCI 是一个 Java/JUnit 5 框架，它将上述应用层期望表达为对已记录轨迹的策略、依据和轨迹检查。确定性重放实现支持可重复的构建时测试；评判器接口为可选的语义评估提供了扩展点。在涵盖七个企业领域的 55 个合成案例上，完整流水线正确分类了全部 30 个注入故障和 25 个通过对照，其中包括十个非平凡对照，并且没有漏掉 12 个指定关键案例中的任何一个。每种单层配置都能正确分类 35 个案例，因为语料库有意为每层隔离出十个故障。通过不允许的序列获得的基于依据的回答，说明了轨迹检查的额外覆盖范围。重复测量将验证器执行与进程启动和报告分开量化。这些结果确立了所编写回归套件的覆盖范围，而非生产准确性。我们描述了生产轨迹验证协议、可选的 LLM 评判器集成，以及随着工作流演进而维护期望的方法。其贡献是在现有 Java 发布流水线中表达行为契约的实用模式。
| 评论： | 已被 2026 年国际计算机与应用会议（ICCA）接收发表 |
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.06674 [cs.SE] |
| （或 arXiv:2611.06674v1 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06674 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Sachin Gupta [查看电子邮件]
[v1]
2026 年 11 月 4 日星期三 15:46:11 UTC（82 KB）
来源：arXiv cs.AI · arxiv.org