arXiv cs.CL· Avinash Baidya, Xinran Liang, Ruocheng Guo, Xiang Gao, Kamalika Das·· 11 小时前AI 评分29
稀疏证据下的弱监督早期失败预警：面向对话与 LLM 智能体轨迹的轻量监控器
When Evidence is Sparse: Weakly Supervised Early Failure Alerting in Dialogs and LLM-Agent Trajectories
AI 导读
研究者提出一种仅用轨迹级结果训练的轻量外部监控器，用于在对话或 LLM 智能体轨迹展开过程中预警失败。其基于注意力的多实例学习（MIL）组件从轨迹结果中学习各轮贡献，在五个基准上使 Pareto 前沿质量（hypervolume）较朴素前缀监督提升 1-10%，完整系统配合 α-STOP 策略较 SOTA 触发策略提升 3-42%。
正文 · AI 翻译
摘要：早期失败预警要求在对话或智能体轨迹展开的过程中，判断其是否可能失败。现有方法大致分为两个方向。基于 LLM 的不确定性监控要么从执行模型本身引出置信度，将可靠性绑定在其自我评估上，要么在每个前缀处查询外部前沿评判模型，导致代价高昂的重复推理。训练式监控器则要么依赖逐轮标注（这类标注很少可得），要么训练每个前缀预测最终结果，而未显式建模失败指示性证据出现的位置。我们用一个仅从轨迹级结果训练的轻量级外部监控器来解决这些局限，其动机来自五个基准上的一致模式：与失败高度相关的轮次稀疏且往往出现较晚。其基于注意力的多实例学习（MIL）组件从轨迹结果中学习轮次级贡献，并将其蒸馏为在线证据特征，以补充前缀预测。我们将得到的失败估计与 $\alpha$-STOP 配对，后者是一个单一偏好条件策略，可在推理时选择准确率-及时性的操作点。该预测器相比朴素前缀监督将帕累托前沿质量（超体积）提升 1-10%，而完整系统相比最先进的触发策略提升 3-42%，且无需按偏好重新训练。通过避免重复调用前沿模型，我们的轻量级监控器相比基于 LLM 的不确定性监控器（GPT-5.2）将实测的每次决策服务成本降低 1,103-3,749$\times$，延迟降低 31-106$\times$。
| 评论： | 9 页，11 幅图，以及附录 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；人机交互（cs.HC）；机器学习（cs.LG） |
| 引用为： | arXiv:2606.05414 [cs.CL] |
| （或 arXiv:2606.05414v2 [cs.CL] 为本版本） | |
| https://doi.org/10.48550/arXiv.2606.05414 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Avinash Baidya [查看邮箱]
[v1]
2026 年 6 月 3 日周三 20:28:27 UTC（2,655 KB）
[v2]
2026 年 10 月 30 日周五 23:03:01 UTC（2,857 KB）
来源：arXiv cs.CL · arxiv.org