arXiv cs.CL· Zaifu Zhan, Shuang Zhou, Rui Zhang·· 6 天前AI 评分26
LLM 互评：面向医疗问答的多智能体同行评审推理
Let Large Language Models Judge Each Other: Multi-Agent Peer-Reviewed Reasoning for Medical Question Answering
AI 导读
研究者提出多智能体同行评审推理方法，让多个 LLM 智能体各自生成带候选答案的思维链推理，再互任评审员评估彼此推理的事实正确性与逻辑严谨性，最终选取评分最高的推理链作答。
正文 · AI 翻译
摘要：目的：提升大语言模型（LLM）在医学问答（MedQA）中的准确性、可解释性和鲁棒性。
方法：我们设计了一种多智能体同行评审推理方法，其中多个 LLM 智能体独立生成带有候选答案的思维链推理，然后作为同行评审员相互评估彼此推理的事实正确性和逻辑合理性。评分最高的推理链被选中以产生最终答案。实验使用五个最先进的 LLM（Llama-3.1-8B、Qwen2.5-7B、Phi-4、DeepSeek-LLM-7B、GPT-oss-20B）在三个基准数据集上进行：HeadQA、MedQA-USMLE 和 PubMedQA。性能与单模型思维链推理和基于思维链的多数投票进行了比较。
结果：同行评审推理始终优于两个基线。最佳模型组合在数据集上实现了 0.820 的平均准确率，超过了最强的单一模型（0.777）和多数投票集成（最高 0.789）。该方法还随着参与模型数量的增加而有效扩展，同时同行评估能够可靠地区分高质量和低质量的推理链。
结论：所提出的多智能体同行评审推理方法使 LLM 能够同时充当求解者和评估者，在 MedQA 中产生了优越的性能。通过强调推理质量而非仅答案一致性，该方法提高了准确性、可解释性和鲁棒性，为可信赖的生物医学 AI 系统提供了一个有前景的方向。
| 评论： | 被《美国医学信息学协会杂志》接收 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2606.15419 [cs.CL] |
| （或 arXiv:2606.15419v2 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2606.15419 arXiv 颁发的 DOI 通过 DataCite |
|
| 期刊 参考： | J Am Med Inform Assoc. 2026;33(9):1649-1659 |
| 相关 DOI： | https://doi.org/10.1093/jamia/ocag042
链接到相关资源的 DOI |
提交历史
来自：Zaifu Zhan [查看电子邮件]
[v1]
2026年6月13日星期六 18:09:44 UTC（1,355 KB）
[v2]
2026年10月9日星期五 05:29:02 UTC（1,355 KB）
来源：arXiv cs.CL · arxiv.org