arXiv cs.CY· Shiv Muthupandiyan, Tolga H. Dur, Mac Walker, Timo Flesch, Mahmoud Ghanem, Steph Suddell, Giles Harper-Donnelly, Sophie Rose, Jasper G\"otting, Coleman Breen, Jake Pencharz·· 3 天前AI 评分40
ReproBAIT：编程智能体能否复现自己的生物 AI 工具？
ReproBAIT: Can coding agents build their own biological AI tools?
AI 导读
研究团队提出 ReproBAIT 评测，在无联网的沙箱中让编程智能体仅凭有限描述、固定时间与算力预算复现已发表的生物 AI 工具，并以留出数据上的工具专属指标打分。
正文 · AI 翻译
作者：Shiv Muthupandiyan、Tolga H. Dur、Mac Walker、Timo Flesch、Mahmoud Ghanem、Steph Suddell、Giles Harper-Donnelly、Sophie Rose、Jasper Götting、Coleman Breen、Jake Pencharz
摘要：大型语言模型在利用科学知识和现有计算工具执行复杂工作流方面越来越有能力。目前，关于它们在仅获得此类工具有限描述时重建工具的能力，信息还很少。我们提出了一项名为 ReproBAIT（Reproducing Biological AI Tools，复现生物 AI 工具）的评估，用于衡量编码智能体在一系列信息获取条件下，设计、实现和训练取自已发表研究的生物 AI 工具的能力。编码智能体被安全地置于无互联网访问的沙箱中，并获得训练数据、固定的时间和计算预算，以及关于待复现工具的有限信息。然后，我们根据复现的生物 AI 工具在留出数据上的性能（工具特定指标）对其进行评分。我们评估了一组复杂度各异的生物 AI 工具：ProteinMPNN，一种逆向蛋白质折叠工具；RFdiffusion3，一种全原子生成扩散工具；以及一种闭源分子设计工具。我们建立了一套方法来检查记忆化，因为这些开源工具很可能被包含在模型的预训练语料中。在一系列领先的闭源和开源编码智能体中，我们发现对某些选定工具具有可观的复现能力，但对一种高度复杂的工具能力有限。我们发现与记忆化一致的适度证据，且在不同编码智能体之间存在差异。这些结果表明，工具开发者在公开发布有关工具的信息时需要越来越谨慎；基于此类信息重新创建工具可能会削弱工具的商业价值，或使两用受控访问策略失效。
| 学科： | 人工智能（cs.AI）；计算机与社会（cs.CY）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.19810 [cs.AI] |
| （或此版本的 arXiv:2610.19810v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2610.19810 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Tolga H. Dur [查看电子邮件]
[v1]
2026年10月14日星期三 08:50:11 UTC（170 KB）
来源：arXiv cs.CY · arxiv.org