arXiv cs.AI· Kangjun Noh, Soyu Kim, Kyungwoo Song·· 4 小时前AI 评分31
CISE:用保形区间驱动自我进化,应对不完美代理奖励
Reliable Self-Evolution with Imperfect Proxy Rewards
AI 导读
针对高保真评估成本过高、低成本代理奖励易产生假阳性的问题,研究者提出保形区间驱动的自我进化方法 CISE,通过条件保形推断与逐迭代在线密度比估计为候选构建专属奖励区间。在材料科学的三个自我进化搜索任务中,CISE 返回的候选在高保真评估下全部为真阳性,而基线返回更多候选但包含假阳性。
正文 · AI 翻译
摘要:基于大语言模型(LLM)的自进化搜索是科学发现中一种很有前景的方法。然而,在某些领域,对每个候选进行高保真评估的成本高得令人难以承受。因此,此类场景下的自进化系统依赖于低成本但不完美的代理奖励,这可能会给不可行的候选赋予高分。这些假阳性可能同时污染最终输出和用于指导后续生成的反馈。这促使我们采用统计校准的奖励区间,以实现更可靠的自进化搜索。我们提出共形区间驱动的自进化(CISE),它利用条件共形推断和逐迭代在线密度比估计来构建候选特定的奖励区间。CISE 在进化反馈中使用保守的基于区间的奖励,并且仅当所有必需的性质区间完全位于各自可行区域内时才返回候选。我们在显式的独立性和协变量偏移假设下推导了固定迭代的覆盖结果。我们在材料科学的三个自进化搜索任务上评估了 CISE。在我们的实验中,CISE 返回的所有候选在高保真评估下均为真阳性,而基线返回更多候选但包含假阳性。这些结果凸显了当下游验证预算有限时,更小、更精确的候选清单的价值。我们的代码库可在 此 https URL 获取。
| 评论: | 预印本 |
| 主题: | 人工智能(cs.AI) |
| 引用为: | arXiv:2610.02975 [cs.AI] |
| (或 arXiv:2610.02975v2 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.02975 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Kangjun Noh [查看电子邮件]
[v1]
2026年10月2日星期五 08:07:27 UTC(3,516 KB)
[v2]
2026年11月17日星期二 02:39:14 UTC(1,569 KB)
来源:arXiv cs.AI · arxiv.org