arXiv cs.AI· Liyang Zhao, Yong Cao, Haibin Ling·· 11 小时前AI 评分31
从文献局限出发：用前向引用监督生成可执行的研究局限
Where Research Ideation Begins: Forward-Citation Supervision for Actionable Limitation Generation
AI 导读
研究提出用前向引用构建 ActLim-Bench，含 18,279 条经人工核验的证据关联监督三元组，用于训练 LLM 从文献中生成可执行的局限。试点发现模型从 0.6B 扩到 32B 参数后识别局限的能力显著提升，但生成能力几乎不变，瓶颈在监督信号而非模型容量。
正文 · AI 翻译
摘要：自动化研究构思已取得快速进展，多智能体工作流能够端到端地生成完整的研究想法。这些框架在很大程度上未考察为好的想法播下种子的那一步：从文献中识别出可操作的局限性。在本文中，我们聚焦于研究构思流程中的这第一步。从一项初步研究出发，我们发现，随着大语言模型（LLM）从 0.6B 扩展到 32B 参数，它们在识别后续工作解决了哪一局限性方面变得强得多，但在生成局限性方面却没有变得更好，这表明瓶颈在于监督信号而非模型容量。因此，我们基于前向引用构建了 ActLim-Bench，得到 18,279 条经人工验证、与证据关联的监督三元组。基于这一信号，我们提出一个三阶段后训练流程：监督微调、经验证器过滤的拒绝采样微调，以及以验证器作为在线稠密奖励的强化学习。实验结果表明，与现有方法相比，我们的方法在所有前沿模型中取得了最高的召回率得分。我们进一步表明，在 64.9% 的非平局人工比较中，我们生成的局限性更受青睐，并能改进下游构思系统。我们将在论文发表后发布数据和代码。
| 评论： | 19 页，4 幅图，含附录 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.23038 [cs.AI] |
| （或本版本的 arXiv:2610.23038v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2610.23038 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Liyang Zhao [查看电子邮件]
[v1]
2026 年 10 月 16 日星期五 07:14:34 UTC（2,094 KB）
来源：arXiv cs.AI · arxiv.org