RadarAI· X：Rohan Paul (@rohanpaul_ai)·· 4 小时前AI 评分71
预印本测试显示 15 个 LLM 检出临床试验论文方法学错误的能力超过人类同行评审
AI 导读
一项新预印本测试了 15 个 LLM 检测临床试验论文中植入方法学错误的能力，模型得分 53% 到 96%，而未受训练的人类审稿人平均仅 27%。在 58 项 2026 年发表的新试验上结果仍成立，Claude Opus 5.5 最高达 99%。人类仅 7% 的情况下能发现文本与表格矛盾，每篇审稿需 5 到 8.5 小时，AI 只需 1.4 到 16.3 分钟。
正文 · AI 翻译
Rohan Paul· @rohanpaul_ai · X·2026-10-29 08:18· 24 分钟前AI 评分68
AI 导读
一项新预印本测试了 15 个 LLM 检测临床试验论文中植入方法学错误的能力，模型得分 53% 到 96%，而未受训练的人类审稿人平均仅 27%。在 58 项 2026 年发表的新试验上结果仍成立，Claude Opus 5.5 最高达 99%；人类仅 7% 的情况下能发现文本与表格矛盾，每篇审稿需 5 到 8.5 小时，AI 只需 1.4 到 16.3 分钟。
正文 · 原文
AI 现在在临床试验论文中发现的错误远多于人类同行审稿人：所有 15 个受测模型在植入错误上的得分在 53% 到 96% 之间，而未受训练的人类审稿人平均仅 27%。
该结果在 2026 年发表的 58 项新试验上依然成立，因此这些模型并非只是回忆训练中见过的旧论文；Claude Opus 5.5 得分最高，达 99%。
人类会漏掉那些最能改变试验含义的错误，仅 7% 的情况下能发现文本与表格矛盾，且每篇审稿需 5 到 8.5 小时，而 AI 只需 1.4 到 16.3 分钟。
本周关于期刊是否应在同行评审中禁用 AI 的争论很多。 我们实际上在新的预印本中测试了这一点，结果在我看来相当明确。 背景是，我曾为大多数大型期刊审稿，并作为编辑评估过 1,000 份人类审稿意见。我喜欢阅读和评估科学。 TLDR：从现在起，没有 AI 我不会做任何同行评审。对于临床试验，我甚至会说仅由人类审稿是危险的 🧵在 X 查看被引用的帖子
来源：Rohan Paul · x.com
来源：RadarAI · aihot.news