跳到正文
arXiv cs.AI· Guy Zyskind·· 10 小时前AI 评分58

研究发现语言模型会把新研究问题说得像已被研究过

Language Models Make New Research Sound Old

AI 导读

arXiv 论文发现,LLM 在验证研究问题时会把开放问题描述成部分已被研究,并夸大相关论文的结论。在 40 个取自新录用论文的问题上,GPT-6-Astra 有 98% 能正确判断问题未被研究,但只有 8% 的普通回答明确说明这一点,六个前沿系统的报告差距达 30-90 个百分点。作者用模型判断加对引用论文的单独核查构建固定答案,把 Astra 清晰报告开放状态的比例从 8% 提升到 95%。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:研究人员越来越多地使用大语言模型(LLM)来验证研究问题。我们发现,LLM 会让开放研究问题听起来像是已有部分研究,并夸大相关论文所确立的结论。当要求模型单独核查论文全文时,模型能识别出其中大多数夸大之处。在取自新近录用论文的 40 个问题上,GPT-6-Astra 正确判断出 98% 的问题尚未被研究,但在普通回答中只有 8% 明确说明了这一状态。全部六个前沿系统都表现出 30 至 90 个百分点的报告差距。在给定相同论文的 22 个模型中,能力越强,判断越准确,报告差距也越大。这种报告失败是不对称的:当我们提供作答论文时,模型在 88% 至 100% 的普通回答中能正确识别出已被研究的问题。为纠正这一问题,我们根据每个模型的判断以及对所引用论文的单独核查,构建一个固定答案。这将 Astra 对开放状态的明确报告率从 8% 提升至 95%,六个系统均有改善。最后,我们将多个模型给出的书面评分与从已评分样例中学到的规则相结合,来预测审稿人的新颖性评分,达到了 Think-Probe-Respond 所报告的性能区间。与 TPR 不同,我们的方法无需访问模型权重或内部激活,因此也适用于闭权重的前沿模型。
学科: 计算与语言(cs.CL);人工智能(cs.AI)
引用为: arXiv:2611.23546 [cs.CL]
  (或 arXiv:2611.23546v1 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.23546

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Guy Zyskind [查看邮箱]
[v1] 2026年11月17日星期二 21:53:16 UTC(358 KB)

来源:arXiv cs.AI · arxiv.org