arXiv cs.AI· Babak Barazandeh, Connor Swanson, Chinmay Kulkarni, Nikhil Mungel·· 9 天前AI 评分32
OnTrack：基于流式结构感知最优传输的 LLM 智能体轨迹实时监控与干预
OnTrack: Real-Time Monitoring and Intervention in LLM Agent Trajectories via Streaming Structure-Aware Optimal Transport
AI 导读
OnTrack 是一种流式监控机制，通过将智能体步骤及依赖关系与已记录的成功运行轨迹对比，可在约每步 1 毫秒内告警或阻断智能体。在 SWE-bench 轨迹上，基于前 8 步，其区分失败轨迹的 AUROC 比内容相似度方法高 0.057；配合中止策略可节省约 18% 的失败运行算力，被中断的运行中 83% 确实走向失败。
正文 · AI 翻译
摘要：智能体被部署在从旅行规划、股票交易到 IT 事件分诊等各类应用中。在大多数情况下，LLM 智能体以自主方式运行，仅有极少的基于规则的防护措施，这导致不可逆操作带来的成本和安全问题。近期研究通过使用防护智能体监控行为或事后评估日志来解决这一问题。前者为每一步都增加成本和延迟；后者在运行结束后才给出结论，此时 token 已消耗、损害已造成。为克服这一问题，我们提出 OnTrack，一种流式监控机制，将智能体的步骤和依赖关系与记录的成功运行进行对比，从而提醒用户或阻止智能体，每步耗时约一毫秒。我们在三种访问权限递减的场景下研究该问题：完全参考访问（历史运行记录和工具模式）、中等访问（仅工具模式）以及无先验知识（仅生成的步骤日志）。随着数据访问权限下降，OnTrack 的监控能力预期也随之降低，范围从计划违规检测到识别循环、停滞和重复工具调用。最后，我们使用 SWE-bench 轨迹评估 OnTrack。基于前 8 步，我们的方法在将失败轨迹排在成功轨迹之下方面优于内容相似度方法（+0.057 AUROC）。采用中止策略后，我们节省了约 18% 原本会消耗在失败运行上的计算资源，其中 83% 被中断的运行实际上正走向失败（6 次中止中有 5 次正确）。
| 学科： | 人工智能（cs.AI）；计算与语言（cs.CL）；计算机与社会（cs.CY）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.12375 [cs.AI] |
| （或 arXiv:2610.12375v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12375 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Babak Barazandeh [查看邮箱]
[v1]
2026年10月8日星期四 17:32:08 UTC（37 KB）
来源：arXiv cs.AI · arxiv.org