arXiv cs.AI· Manvendra Modgil·· 6 天前AI 评分28
基于情感的触发器与 LLM 评判为何无法为自主智能体把握干预时机：饱和陷阱与干预时机的主观性
The Saturation Trap and the Subjectivity of Intervention Timing: Why Affect-Based Triggers and LLM Judges Fail to Time Interventions on Autonomous Agents
AI 导读
研究用 18 维情感动力学引擎 HEART 在 SWE-bench-Verified 调试轨迹上评测四类干预触发器，发现状态阈值会因"状态饱和陷阱"在 39-83% 的动作上误触发。
正文 · AI 翻译
摘要：随着自主 AI 智能体从对话系统转向长时程软件执行，决定何时中断智能体的运行时安全层已变得至关重要。我们使用一个连续的 18 维情感动力学引擎（HEART）作为诊断探针来研究这一时机问题，在 SWE-bench-Verified 调试轨迹上，针对人工标注的干预点评估了四类干预触发机制——绝对状态阈值、复合状态-动作模式、正则推理特征提取，以及零样本 LLM-as-judge。我们报告三项发现。第一，状态饱和陷阱：建模的挫败感迅速越过阈值并保持在其最大值（v2 勘误：观察者无法记录恢复；衰减从未运行），使基于状态的阈值触发器从时刻检测器转变为近乎恒定的指示器，在五条轨迹中对 39-83% 的动作触发。第二，LLM 评判器的能力与上下文下限：一个小模型（gpt-5.4-mini）从不触发，而前沿及跨厂商模型只有在拥有完整轨迹上下文时才能摆脱零触发下限，且成本高达 90 倍时仅达到 F1 0.17-0.40。第三，也是最重要的一点，监督目标在人类之间不可复现：三名训练有素的标注者使用相同评分标准对一条 56 个动作的轨迹进行标注，他们在何处干预上的一致性仅略高于随机（位置 Krippendorff's alpha = +0.047；最佳成对 Cohen's kappa = +0.349），而在干预类型上则完全不一致（暂停退化；澄清低于随机；反思仅 alpha = +0.226）。我们得出结论，干预时机是一个低信度构念，使单标注者 F1 成为不合适的优化目标。我们的贡献在于跨人类评分者间信度、四种检测器架构、跨模型 LLM 评判器扫描以及复现的饱和效应，对这一问题的联合映射，而非任何单一检测器的准确率。
| 评论： | v2：增加了勘误说明（衰减项在重放中从未执行；观察者无法记录恢复）。结果其他方面不变。12 页，5 张表。代码和数据：此 https URL |
| 主题： | 人工智能（cs.AI） |
| ACM 分类： | I.2.7; I.2.11; H.5.2 |
| 引用为： | arXiv:2606.04296 [cs.AI] |
| （或 arXiv:2606.04296v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.04296 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Manvendra Modgil [查看邮箱]
[v1]
2026 年 6 月 2 日星期二 23:54:27 UTC（13 KB）
[v2]
2026 年 10 月 9 日星期五 06:49:14 UTC（15 KB）
来源：arXiv cs.AI · arxiv.org