arXiv cs.AI· Muhan Gao, Hangxiao Zhu, Xinqi Su, Yu Zhang, Daniel Khashabi, Kuan-Hao Huang·· 10 小时前AI 评分44
Re-Search：用双人提问游戏剖析 LLM 的研究构想能力
Re-Search: Dissecting LLM Ideation Through a Two-Player Questioning Game
AI 导读
研究者提出 Re-Search，将研究构想重构为"二十问"游戏：仅给出论文的研究问题，模型需通过提问是/否问题重新发现论文核心想法，数据集由 200 篇 ICML 2026 论文构建。
正文 · AI 翻译
摘要：研究构思是迭代式的：研究者根据反馈逐步完善自己的想法。然而现有的评估掩盖了这一搜索过程，使得人们难以理解 LLM 如何探索研究想法空间，以及是什么限制了它们的进展。我们提出了 Re-Search，它将“二十问”的形式应用于研究构思：仅给定一篇已发表论文的研究问题，模型必须通过提出是/否问题来重新发现该论文的核心想法。Re-Search 基于 200 篇 ICML 2026 论文构建，追踪模型在提问并接收二元 oracle 反馈过程中想法的演变，从而将构思与执行隔离开来。在六个近期 LLM 上，几乎所有进展都发生在 100 个问题中的前 30 个之内，这基本决定了游戏的结局；此后，大多数模型便停滞不前。通过对候选问题和假设空间进行受控干预，我们发现瓶颈在于生成而非判断：模型在获得一个好想法或好问题时能够识别出来，但往往无法自行产生。我们进一步分析了构思轨迹，发现模型失败的原因要么是过度利用某一个方向，要么是过度探索过多方向。这些发现为自动研究系统指明了具体的设计原则：既然模型能够判断它们无法生成的候选方案，那么用外部来源的想法和问题来丰富搜索，可能比提升任何单一模型的生成能力更有效。
| 评论： | 预印本。15 幅图，10 张表 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.14487 [cs.AI] |
| （或 arXiv:2611.14487v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.14487 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Muhan Gao [查看邮箱]
[v1]
2026 年 11 月 10 日星期二 18:47:22 UTC（3,560 KB）
来源：arXiv cs.AI · arxiv.org