多智能体 LLM 评测框架中的矛盾判定：将队友错误报告误判为幻觉的断言感知重评分

查看 PDF HTML（实验性）

摘要：用于评分幻觉的 LLM 评判器会把任何与参考事实相矛盾的陈述标记出来。多智能体 LLM 系统中的智能体会引用并质疑彼此的主张，因此这样的评判器可能把对队友错误的正确报告计为幻觉。本研究的早期版本是一篇预印本（arXiv:2606.21666v1），报告称广播将幻觉率从 0.492 提高到 0.658（+34%），并将其称为污染；本版本撤回该主张，且该预印本的运行结果无法重新评分。该测试框架的一份未发表修订版报告了 0.289 到 0.554（+0.265，95% CI [0.225, 0.305]），其保存的输出在此重新评分。在调用任何评判器之前固定的分析计划下，来自三家供应商的三名评判器将 1,832 条输出中的六个事实分别标记为断言错误、归因于其他来源、断言正确或缺失。对于输出断言为其自身观点的值，在 10 次全广播试验中，广播效应为 -0.0208（95% CI [-0.0458, +0.0041]）：与零无法区分，且仅在一个事后设定的 ±0.0663 边际内、并在该计划的提示下才等价于零。在这些 LLM 评判器标签上，对队友错误值的报告几乎解释了 Haiku 旅行效应的全部。按提及评分时，评判器复现了该效应（+0.1996）。使用 Llama 智能体时，40 条队友输出中有 2 条断言了错误的目的地。十二种 Claude 评判器-提示组合中有一种给出了断言性增加（Sonnet 4.6，一种改写：+0.0246，95% CI [+0.0055, +0.0436]）。在每臂 40 次新试验中，由与智能体类似的 Claude 模型评判，当两名评判器一致时断言差异为 -0.0505，当任一评判器给出断言时则为 +0.0161（95% CI [+0.0024, +0.0299]）。主要局限：这些标签没有人工验证；120 条输出的人工标签尚待完成。输出来自一个测试框架和 13 个手写场景，因此这些比例不可迁移。

评论：	40 页，2 幅图。替换 v1（11 页，1 幅图），在调用评判器之前固定的分析计划下对后续修订版重新评分后发现不支持 v1 的主要污染主张后发布；v1 自身的运行结果无法重新评分；见摘要下方的更正说明
主题：	人工智能（cs.AI）；计算与语言（cs.CL）；多智能体系统（cs.MA）
ACM 分类：	I.2.11
引用为：	arXiv:2606.21666 [cs.AI]
	（或本版本的 arXiv:2606.21666v2 [cs.AI]）
	https://doi.org/10.48550/arXiv.2606.21666 由 DataCite 颁发的 arXiv DOI

提交历史

来自：Carson Rodrigues [查看邮箱]
[v1] 2026 年 6 月 19 日星期五 18:17:45 UTC（46 KB）
[v2] 2026 年 11 月 12 日星期四 06:37:36 UTC（73 KB）