arXiv cs.AI· Marilyn Zhang, Tianfeng Chen, Mark E. Whiting·· 12 小时前AI 评分42
生物学上下文并不能可靠提升 LLM 引导的实验优化效果
Biological Context Does Not Reliably Improve LLM-Guided Experimental Optimization
AI 导读
在 45 个生物学任务上测试 19 个 LLM 发现，去掉生物学含义的域无关提示在 58.7% 的任务轨迹和 61.9% 的终点指标上优于域感知提示。该失败模式为生物学特有，在同样构建的教育任务上结果反转；域感知提示让模型初始设计更好，但对反馈的响应更差，部分原因是锚定效应。将 Llama 3.1 8B 后训练至前沿级原始优化能力，并不能迁移为生物学感知优化能力的提升。
正文 · AI 翻译
摘要：自主实验室越来越多地部署大语言模型（LLM）作为闭环生物学优化器，它们提出一个设计、读取结果，然后再次提出设计。部分原因是人们假设生物学知识能帮助 LLM 比无法获取生物学上下文的贝叶斯优化选出更好的设计。我们在 45 个生物学任务上检验了这一假设，这些任务由 341 篇已发表论文中的 2,485 行实验数据重建而成，并由拟合这些数据的 oracle 评分，每个任务在两种提示条件下运行 30 次迭代。领域感知条件提供已发表的参数名称、单位和标签，领域无关条件则对其重命名，使其不再具有生物学意义，而搜索空间和反馈完全相同。在 19 个 LLM 上，领域无关条件按轨迹在 58.7% 的任务上优于领域感知条件，按终点则在 61.9% 的任务上更优。这一失败是生物学特有的，在以同样方式构建的教育任务上结果相反。领域感知提示往往帮助模型提出更好的初始设计，却使它们对反馈的响应变差。部分原因是锚定效应，即使 oracle 给另一个（已发表的最佳）值打出更高分数，模型仍保留传统的分类选择。将 Llama 3.1 8B 后训练至前沿水平的原始优化能力，并不能迁移为生物学感知优化的提升。因此，生物学感知优化看起来是一种独立的能力，自主实验室闭环应直接针对它进行优化。
| 评论： | NeurIPS 2026 Workshop: I Can't Believe It's Not Better (ICBINB): Failure Modes of AI in Biology |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| ACM 分类： | I.2.1 |
| 引用为： | arXiv:2605.15341 [cs.LG] |
| （或本版本的 arXiv:2605.15341v2 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2605.15341 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Marilyn Zhang [查看邮箱]
[v1]
2026年5月14日 星期四 19:10:45 UTC（303 KB）
[v2]
2026年10月20日 星期二 02:25:59 UTC（52 KB）
来源：arXiv cs.AI · arxiv.org