arXiv cs.AI· Zixun Lan, Zhenfu Liu, Yi Li, Xinheng Wang, Mingmin Chi, Qibiao Wang, Jie Zhu, Xiaohui Tian, Fei Ma·· 3 天前AI 评分31
RetroRLFF：用前向反馈强化学习做单步逆合成
Single-step Retrosynthesis via Reinforcement Learning from Forward Feedback
AI 导读
研究者提出 RetroRLFF，从监督训练的 decoder-only Transformer 出发，用冻结的前向反应模型预测产物，以参考一致性与前向一致性组成的序列级奖励优化逆合成反应物生成。
正文 · AI 翻译
摘要：单步逆合成是一个一对多的逆问题，然而大多数模型都是针对单一记录的反应物集合进行训练和评估的。基于参考的训练不会为未记录的替代方案提供明确的正向信号，而精确匹配评估会拒绝不匹配的预测，无论其化学合理性如何。我们提出了通过前向反馈进行强化学习的逆合成方法（Retrosynthesis via Reinforcement Learning from Forward Feedback，RetroRLFF），它利用参考一致性和与目标产物的前向一致性来优化反应物生成。RetroRLFF 从仅解码器的监督式 Transformer 出发，生成完整的候选反应物，并使用冻结的前向反应模型来预测产物。序列级奖励结合了参考一致性和前向一致性，同时对无效输出进行惩罚。直接优势策略优化（Direct Advantage-Based Policy Optimization）在无需人类偏好标注或偏好训练奖励模型的情况下更新策略。在 USPTO-50K 上，RetroRLFF 在 k = 1、3、5 和 10 时的候选级往返准确率上优于全部 14 个基线。其参数量约为 5000 万，达到了 90.1% 的 top-1 往返准确率，在该指标上超过最强的竞争基线 R-SMILES 8.5 个百分点。与其监督策略相比，往返准确率从 83.1% 提升至 90.1%，而精确匹配准确率保持在 57.9%（对比 57.5%）。在对 131 个随机选取的测试用例进行的匿名专家评估中，有机合成专家在 67.9% 的对比中更偏好 RetroRLFF 而非 EditRetro。这些结果支持将前向反馈作为训练信号，在保留 top-1 参考恢复能力的同时提升前向一致性。专家评估为所选用例的合成可行性提供了补充证据，尽管前向一致性和专家偏好均不能确立实验可行性。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.15141 [cs.AI] |
| （或 arXiv:2610.15141v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15141 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Zixun Lan [查看电子邮件]
[v1]
2026年10月10日星期六 19:37:17 UTC（1,551 KB）
来源：arXiv cs.AI · arxiv.org