arXiv cs.CL· Cesare Zavattari, Alessandro Tommasi, Giuseppe Prencipe·· 2 天前AI 评分22
人类干预作为标签：定位、引导与（有时）编辑 LLM 智能体失败背后的计算
Human Interventions as Labels: Localizing, Steering, and (Sometimes) Editing the Computations Behind LLM Agent Failures
AI 导读
研究将人类对 LLM 智能体的干预视为定位内部失败计算的标签，在受控环境中针对"请求已明确却仍追问"这一失败展开实验，覆盖 Qwen2.5-3B、gemma-2-2b、OLMo-3-7B、Mistral-Nemo-12B、Phi-4 五个合格模型。
正文 · AI 翻译
摘要：当 LLM 智能体行为不当时，人类会介入，而这种干预通常被丢弃或作为训练数据回放。我们则将其视为一种测量：一个指向失败内部计算的标签。我们在受控的智能体环境中研究它，针对一种失败（在请求已经明确无歧义时仍提出澄清性问题），标签来自基于规则的监督者，并经过盲人判断验证。结论涵盖符合条件的模型，这些模型既会过度提问，有时也会对匹配的无歧义请求采取行动：十三个中有五个合格（Qwen2.5-3B、gemma-2-2b、OLMo-3-7B、Mistral-Nemo-12B、Phi-4）。四项发现。第一，提问与行动的决策在每个合格家族中都可因果定位：从干预标签学到的方向在确定的残差流深度上能翻转 72-100% 的留出过度提问，其位置和剂量在训练数据上选择，而相同程序下的随机方向最多翻转一个片段。第二，过度提问有两种机制特征：在四个家族中，模型可证明知道请求是无歧义的（该信念可解码、因果惰性且与决策正交）却仍然提问；在第五个家族中，罕见的过度提问追踪不同的世界表征。第三，基于探针读数门控的引导消除了大部分模拟监督负担，同时合法问题得以保留（bootstrap 95% 区间排除零）；提示指令反而使其更糟。第四，将修复整合到权重中产生的是地图，而非规则：在一个模型上，限制在因果带内的 LoRA 通过了所有预先固定的标准，而在相同数据上的行为克隆破坏了保留；在三个家族中情况相反；在第五个家族中，结果在不同种子间跨越边界。一个预先写下用于预测该机制的几何规则在两个家族外测试中失败；我们报告失败并停止，而不是拟合替代方案。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.21708 [cs.LG] |
| （或 arXiv:2610.21708v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21708 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Giuseppe Prencipe [查看电子邮件]
[v1]
2026年10月15日星期四 11:27:19 UTC（112 KB）
来源：arXiv cs.CL · arxiv.org