arXiv cs.CL· Manya Wadhwa, Pranav Narayanan Venkit, Hiroaki Hayashi, Yu Li, Tuhin Chakrabarty, Chien-Sheng Wu·· 2 天前AI 评分36
训练推理模型生成多样化科学创意
Training Reasoning Models to Generate Diverse Scientific Ideas
AI 导读
研究提出用集合级强化学习目标训练 LLM 生成多样化科学创意：模型一次生成 K 张结构化创意卡片，每张创意的质量按其与前面创意的距离加权，从而学会让新创意远离已有创意。
正文 · AI 翻译
摘要：研究流程的第一步之一是生成想法。大型语言模型（LLM）越来越多地被用于自动化这一步骤，但这类工作大多优化单个想法的质量，而忽视了多样性。在我们的工作中，我们研究基于文档的想法生成，重点关注提高 LLM 生成想法的多样性并确保其高质量。给定先前的论文，模型必须提出一组想法，每个想法都高质量且彼此明显不同，同时还要基于输入文档。为此，我们提出使用集合级强化学习目标进行训练。在我们的设置中，模型在单次生成中写出 K 张基于源论文的结构化想法卡片，并对该集合进行联合评分，其中每个想法的质量按其与之前写出的想法的距离加权。这教会模型将每个新想法引导远离其前身。我们表明，在我们无污染的基准上，我们训练的 8B 模型实现了比 Claude Opus 4.8 和 GPT-6 Astra 更高的创造性效用（一种结合质量与多样性的度量）。在一项有四位专家参与的试点人类研究中，我们的想法集合被评为与 Claude Opus 4.8 的一样有前景，并且包含略多独特的想法。当编码智能体对这些想法进行概念验证实验时，我们模型的 success@k 与 Claude Opus 4.8 相当，因此我们看到增加的多样性没有牺牲任何可执行性。
| 评论： | 代码和数据见：此 https URL | 审稿中 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.22324 [cs.CL] |
| （或 arXiv:2610.22324v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22324 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Manya Wadhwa [查看电子邮件]
[v1]
2026年10月15日星期四 17:52:12 UTC（962 KB）
来源：arXiv cs.CL · arxiv.org