arXiv cs.CL· Shanshan Zhong, Chen Xu, Jingjie Ning, Zhengzhong Liu, Aviral Kumar, Chenyan Xiong·· 10 小时前AI 评分58
IdeaTaste：LLM 能否复现人类研究者的研究品味
IdeaTaste: Do LLMs Share the Research Taste of Human Researchers?
AI 导读
研究团队提出 IdeaTaste 基准，用 2025 年冻结的文献快照让 LLM 撰写研究提案，再与同一社区 2026 年实际发表的工作比对，覆盖六个当代语言模型和四个研究领域、共 9 万余份提案。
正文 · AI 翻译
摘要：研究品味，即判断该读什么、该研究哪些问题、该尝试哪些方法的能力，正日益塑造着 AI 科学家的工作，然而人们对它的理解远不及对其研究执行能力的理解。我们推出 IdeaTaste，这是一个基准，通过衡量 LLM 基于冻结在 2025 年的文献快照所撰写的研究提案与同一批社区在 2026 年发表的工作之间的吻合程度来为其打分。我们的实验涵盖六个当代语言模型和四个研究领域（从成熟领域到新兴领域），总计覆盖超过 90{,}000 份提案。LLM 智能体在引用文献和陈述想法两方面都远逊于人类社区：引用匹配度约为人类水平的 26\%，想法匹配度仅为 18\%。它们的群体在引用多样性上可以达到社区水平，也能采纳社区的任务和方法，却很少能得出社区实际采用的具体方法和研究计划。更丰富的领域上下文或更大的群体规模都无法显著弥合这一差距。在盲审专家评审中，AI 提案与 2026 年论文的差距在呈现形式上最小，在预期成功率上最大，这与其在具体方法上的差距相呼应；而那些想法没有任何人类论文与之相同的提案表现最差，这表明其方向较弱，而非存在被忽视的机会。这些结果表明，AI 研究品味的主要瓶颈不在于找到社区所研究的方向，而在于将其转化为社区随后采用的具体方法。我们将 IdeaTaste 作为一个开放、持续更新的排行榜发布（this https URL），以未来发表周期为基准评测当代 AI 提案。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.03424 [cs.CL] |
| （或 arXiv:2611.03424v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.03424 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shanshan Zhong [查看邮箱]
[v1]
2026 年 11 月 2 日星期一 16:45:03 UTC（2,691 KB）
来源：arXiv cs.CL · arxiv.org