arXiv cs.CL· Chih-Hsuan Yang, Anjir Ahmed Chowdhury, Cheng-Hau Yang, Weijian Zheng, Fernando Llorente, Xiaolong Ma, Xinyang Li, Eliu A. Huerta, Feng Yan, Ian T. Foster, Rajeev Thakur·· 11 小时前AI 评分34
研究：多智能体消息中错误答案仍有轨迹价值，Gemma 上 73 条错答消息中 34 条获确认
Wrong but Useful: Trajectory Value Beyond Answer Correctness in Multi-Agent Messages
AI 导读
一项 arXiv 研究提出用“轨迹价值”衡量多智能体推理中消息对接收方的贡献，即固定整合器在有该缓存消息时的答对概率变化。在 Gemma 上，73 条被选中的错误答案消息中有 34 条通过预注册的新调用复测确认，超过 11.4–20.8 的对照校准误确认上限；按消息移除规则在留出回放块上比最强的仅看正确性规则提升 1.61 个百分点。
正文 · AI 翻译
作者：Chih-Hsuan Yang、Anjir Ahmed Chowdhury、Cheng-Hau Yang、Weijian Zheng、Fernando Llorente、Xiaolong Ma、Xinyang Li、Eliu A. Huerta、Feng Yan、Ian T. Foster、Rajeev Thakur
摘要：一个解答即使最终给出错误答案，仍可能帮助另一个求解器。在多智能体推理中，仅评估消息所提出的答案，可能会遗漏它对接收方的贡献。我们将这一贡献衡量为轨迹价值：当缓存消息存在而非被移除时，固定整合器正确作答概率的变化。在五个基准和两个模型家族上进行的受控重放，将消息效应与相同输入带来的变异区分开来。最强证据来自 Gemma：在预先注册的全新调用复测中，73 条选定的错误答案消息中有 34 条通过单独确认，超过了经对照校准的预期误确认上限 11.4–20.8。该发现依赖于基准，若去掉 SciBench，保守标准便不再通过。一项由两名作者进行的盲审支持所选答案标签，而中性替换表明，有益效应不能仅由消息长度和位置解释。在相同问题的留出重放块上，一种针对具体消息的移除规则比测试中最强的仅依据正确性的规则准确率高出 1.61 个百分点 [1.01, 2.25]。事后分析将这一差距的大部分定位到不含正确提议的池中。gpt-oss 的证据较弱，且所测试的预测因子未能建立一种可提前识别有用错误的实用方法。这些结果支持将答案正确性与接收方收益分开衡量，并将价值理解为以消息池、接收方和生成格式为条件。
| 评论： | 18 页，2 幅图。修订稿包含全新调用测试、人工评估和额外的稳健性分析。项目网站：此 https URL |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2608.14375 [cs.AI] |
| （或 arXiv:2608.14375v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.14375 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Chih-Hsuan Yang [查看电子邮件]
[v1]
2026 年 8 月 14 日星期五 15:16:57 UTC（6,010 KB）
[v2]
2026 年 10 月 31 日星期六 04:29:01 UTC（142 KB）
来源：arXiv cs.CL · arxiv.org