arXiv cs.AI· Wangshu Zhu, Qianwen Guo, Yushun Dong·· 3 天前AI 评分36
LLM 智能体的 Phantom Merge:实体-证据绑定失败与修正框架
Phantom Merge: When Your Large Language Model Agents Pick One but Tell You About Another
AI 导读
研究识别出 LLM 智能体中的 Phantom Merge(PM)现象:智能体将缺乏支撑的论断归因于其选定实体,即使任务已正确完成。
正文 · AI 翻译
摘要:LLM 智能体越来越多地在多个实体上运行,此时可靠的响应生成不仅需要检索相关证据,还需要保持证据与正确实体的关联。我们识别出 Phantom Merge(PM),这是一种实体-证据绑定失败,即智能体将无依据的断言归因于其已承诺的实体,甚至可能在任务已正确完成时也会发生。我们在断言层面形式化了 PM,并刻画了其在四个智能体领域和四个骨干模型系列中的普遍程度与错误子类型。为解决这一问题,我们提出了一个用于断言级风险估计与纠正的两阶段框架。首先,Anchor-Grounded Risk(AGR)将智能体发射前隐藏状态的表示读出与基于 Jacobian 的函数信息相结合,提供互补的槽位级和锚点值风险分数。其次,Fixed-Anchor Correction(FAC)审计被标记的断言,并使用观察到的锚点证据选择性地修订它们,或在没有受支持替代项时将其移除。在留出的 Shopping 检测队列上,AGR-slot 达到 96.2% 的 AUROC 和 97.3% 的平均精度,优于所评估的检测基线。在端到端 Shopping 缓解评估中,FAC 将轨迹级 PM 从 51.4% 降至 6.2%,输出与原始断言比率为 80.7%。这些结果证明了实体特定 grounding 失败的普遍性,以及将内部风险估计与证据约束的断言纠正相结合的有效性。我们的代码公开于 this https URL。
| 主题: | 人工智能(cs.AI);计算与语言(cs.CL) |
| 引用为: | arXiv:2610.16141 [cs.AI] |
| (或 arXiv:2610.16141v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.16141 arXiv 颁发的 DOI 通过 DataCite(待注册) |
提交历史
来自:Wangshu Zhu [查看电子邮件]
[v1]
2026年10月12日星期一 04:01:45 UTC(753 KB)
来源:arXiv cs.AI · arxiv.org