arXiv cs.AI· Amey Rambatla, Vatsal Goel, Sagar Gaur, Siddhant Loya, Anurag Mishra, Asif Mohammad·· 10 小时前AI 评分42
Signals：AI 智能体的持续诊断方法
Signals: Continuous Diagnostics of AI Agents
AI 导读
研究者提出 Signals，一种从智能体执行轨迹中识别错误决策与资源浪费并给出具体修复建议的诊断方法，基于覆盖 8 大类 45 种问题类型的分类体系，区分已发生的失败、风险暴露与低效。
正文 · AI 翻译
摘要：即使 AI 智能体的工具和基础设施运行正常，它们也可能做出错误决策或浪费资源。其非确定性行为使这些问题难以复现和诊断。我们开发了 Signals，用于从智能体轨迹中识别此类问题并提出具体的修复建议。该方法围绕一个包含八大类、45 种问题类型的分类体系构建，并为每种类型定义了定义和证据要求。该方法区分已发生的故障、风险暴露和低效情况，将相关发现归组为称为 Signals 的工程问题，并根据支持证据评估其严重程度。每个 Signal 都包含开发者可采取的行动以及用于评估变更的检查项。后续执行可以为现有 Signal 补充证据，或揭示新的问题。我们在公开的智能体执行记录上评估了该方法，在将 Signals 与参考问题匹配时达到 91.43% 的 F1，比使用相同模型和分类体系的单次 LLM 对照高出约 18 个百分点。
| 评论： | 11 页，1 幅图，6 张表。已更正作者单位格式；科学内容未变 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.04507 [cs.AI] |
| （或使用 arXiv:2611.04507v2 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2611.04507 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Amey Rambatla [查看邮箱]
[v1]
2026 年 11 月 3 日星期二 08:32:43 UTC（51 KB）
[v2]
2026 年 11 月 4 日星期三 06:09:13 UTC（51 KB）
来源：arXiv cs.AI · arxiv.org