arXiv cs.AI· Yoon Pyo Lee, Samrendra Roy, Souvik Chakraborty, Syed Bahauddin Alam·· 2 天前AI 评分22
科学反馈如何让生成模型跳出训练惯例、发现更优设计
Scientific feedback reveals productive regimes beyond training conventions
AI 导读
研究表明，科学性能反馈可将生成模型学到的搜索分布导向训练惯例之外的高产区域，且无需显式奖励对惯例的偏离。在反应堆栅格设计与化学反应条件选择两项任务中，适配均提升了科学性能，并增加了被监督数据排除的选项生成；实测反应中，被训练排除的任务专属配体选择概率从 0.29 升至 0.70-0.71，同时预期产率误差下降。
正文 · AI 翻译
摘要：人为设定的设计惯例会限制科学训练数据中所体现的备选方案，并塑造生成模型所学到的搜索偏好。我们表明，科学性能反馈可以将学到的搜索分布重新导向这些惯例之外的高产区域，而无需明确奖励对惯例的偏离。我们分别在反应堆栅格设计中用模拟反馈进行测试，以及在化学反应条件选择中用实测产率进行测试，前者使用预训练序列策略，后者使用小型非语言策略。在两种设定中，适应过程都提升了科学性能，同时增加了对相应监督数据中未包含选项的生成。在实测反应中，随着预期产率误差下降，训练中未包含的任务特定配体选择的概率从 0.29 上升到 0.70-0.71。栅格设定中的对照实验表明，适应过程中识别出的高产区域为随机搜索提供了可复用的信息，而对齐生成比有信息的随机采样更频繁地产生有用候选。移除目标惩罚使五次匹配运行中的四次发生方向改变，将适应方向与科学目标联系起来。总之，这些结果展示了科学反馈如何重塑继承的搜索偏好，并揭示训练惯例之外的高产备选方案，而归因对照将学到的重新分布与候选可用性及可复用搜索信息区分开来。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2512.15756 [cs.LG] |
| （或使用 arXiv:2512.15756v2 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2512.15756 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：YoonPyo Lee [查看电子邮件]
[v1]
2025年12月12日星期五 02:26:19 UTC（10,799 KB）
[v2]
2026年10月14日星期三 18:06:12 UTC（2,648 KB）
来源：arXiv cs.AI · arxiv.org