arXiv cs.CL· Mukand Krishna, Anoushka Harit, Chenghao Xiao, Zhongtian Sun·· 11 小时前AI 评分31
研究揭示 LLM 医学验证缺陷：能识别同源试验却仍重复计入证据
Recognizing Study Lineage Is Not Enough: Over-Crediting Same-Trial Evidence in LLM-Based Medical Verification
AI 导读
基于 14 个经来源审计的临床家族和五种模型条件测试发现，GPT-5.5 在三个来源家族中均能以 10/10 识别独立更新，却在 5/5 独立聚合调用中过度计入同一试验的第二篇论文。Qwen3-4B 与 Ministral-3-8B 也呈现同样的跨任务反差。加入研究分组指令后，GPT-5.5 在后续纯来源家族中的过度计入从 4/5 降至 0/5。
正文 · AI 翻译
摘要：发表数量不等于研究数量。一个模型可以在直接任务中正确识别共享的试验谱系，但在汇总证据时却对同一试验的第二篇发表过度计入。我们使用 14 个经来源审核的临床家族和五种模型条件，在医学 LLM 验证中评估了这一行为。这些家族涵盖来源、临床适用性、结果方向和构成；来源家族提供了直接的谱系测试。识别与汇总为两次独立的无状态调用，重复调用用于评估输入内稳定性。在所有三个原始来源家族中，GPT-5.5 在每个家族的 10/10 次识别调用中都能识别出独立更新，但在每个家族的 5/5 次独立汇总调用中却对同一试验的报告过度计入。选定的 Qwen3-4B 和 Ministral-3-8B 条件表现出相同的跨任务对比。研究分组指令使 GPT-5.5 在之后每个纯来源家族中的过度计入从 4/5 降至 0/5。其他模型条件表现出混合行为，被拒绝的输出限制了几项比较。结果揭示了诱导出的谱系识别与证据汇总之间存在行为差距。代码和数据工件可在 此 https URL 获取。
| 注释： | 20 页，5 幅图，17 张表；正文 8 页，其后为参考文献和附录 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.23721 [cs.CL] |
| （或 arXiv:2610.23721v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.23721 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Mukand Krishna [查看电子邮件]
[v1]
2026 年 10 月 16 日星期五 16:42:10 UTC（348 KB）
来源：arXiv cs.CL · arxiv.org