arXiv cs.MA· Travis Smith·· 10 小时前AI 评分58
The Little Scientist：科学方法能为 LLM 智能体带来什么
The Little Scientist: What Does the Scientific Method Buy an LLM Agent?
AI 导读
论文提出 The Little Scientist 框架，把假设、预测、编码、测试与反馈循环映射到 LLM 智能体上，在 DNA motif 发现任务中从零写出算法 DALE，在 132 个 ENCODE 转录因子上平均 AUROC 0.842，高于 STREME 的 0.803，且运行快 11 倍。
正文 · AI 翻译
摘要：科学发现源于假设、实现、实证检验与反馈的循环。这一过程能否自动化？我们从科学方法的视角来研究自动化算法设计，其中基于 LLM 的智能体以迭代方式经历该过程的每一步。结果：我们提出 The Little Scientist，一个将科学方法映射到 LLM 智能体循环中的框架：Scientist 智能体在评估环境内迭代假设、预测、代码、测试与调和，该环境返回结构化诊断信息；Kuhn 智能体则在平台期注入范式转换式的重构。在 DNA 基序发现任务上，该过程从零编写了一个算法（DALE），在打乱负样本基准上于 132 个 ENCODE 转录因子上优于 STREME（平均 AUROC 0.842 对 0.803），同时运行速度快 11 倍。随后我们追问该方法为何有效，这个问题成为论文的科学核心：对框架自身脚手架进行预注册的受控拆解，包含十个消融分支与一次性 bandit 空对照。答案推翻了前提。十个循环分支中有七个未能击败从同一模型和提示中采样的 bandit，完整脚手架在 7-8 倍 token 成本下表现低于盲采样，而一个完全不含框架的 floor-prompt 分支在得分和每 token 价值上均胜出。在一个留出基因组基准上，最佳循环产物与最佳 bandit 采样结果相差在 0.002 以内，初始实验中的 DALE 算法得分也相近。趋同的图景是：LLM 智能体无法通过推理超越训练写入权重的内容。据此证据，自动研究是采样、选择与重组，这正是 Evolve 系列架构在选择种群与外部选择而非草稿本推理时所下的赌注，也是这些选择正确的原因。
| 评论： | 代码：this https URL 和 this https URL（Apache 2.0） |
| 主题： | 定量方法（q-bio.QM）；多智能体系统（cs.MA） |
| 引用为： | arXiv:2608.16951 [q-bio.QM] |
| （或本版本使用 arXiv:2608.16951v2 [q-bio.QM]） | |
| https://doi.org/10.48550/arXiv.2608.16951 由 DataCite 颁发的 arXiv DOI |
|
| 相关 DOI： | https://doi.org/10.5281/zenodo.23930337
链接到相关资源的 DOI |
提交历史
来自：Travis Smith [查看邮箱]
[v1]
2026 年 8 月 16 日周日 01:32:45 UTC（1,251 KB）
[v2]
2026 年 11 月 3 日周二 20:23:45 UTC（1,544 KB）
来源：arXiv cs.MA · arxiv.org