arXiv cs.CL· Caoxin Wang, Shengkai Gan, Xiang Hu, Lili Pan·· 23 小时前AI 评分38
BRED:读取完整轨迹的 LLM 控制器如何做自主研究中的轮间决策
The Between-Round Decision in Autonomous Research: An LLM Controller That Reads the Whole Trajectory
AI 导读
研究者提出 BRED(Between-Round Evidence-based Decision),一个基于 LLM 的控制器,维护当前最优已验证方案(Champion)与历史轮次日志,每轮只做一次决策,无需规则、评分或搜索树等外部结构。
正文 · AI 翻译
摘要:执行一个想法往往会改变它看起来有多大前景,因此自主研究的下一步应当基于结果,而不是基于提案。每轮实验之后,系统必须决定是改进最佳方案还是开启新方向、基于哪个方案继续构建,以及设定什么目标。我们称之为轮间决策。现有系统将其包裹在规则、评分、搜索树和调度等机制中;当由 LLM 来做这一决策时,LLM 需要读取什么内容仍是开放的。我们探究 LLM 能否在没有搜索结构的情况下,仅凭累积证据做出这一决策,以及它需要读取多少证据。我们提出 BRED(轮间基于证据的决策),一个基于 LLM 的控制器,它维护迄今为止最佳已验证方案(Champion)和过往轮次的日志,并每轮做一次决策。在三个广泛使用的研究智能体基准任务上,BRED 相比任务基线在 ETTh1 上的 MAE 提升 4.80%(至 0.4172),在 SST-2 和 CIFAR-100 上的准确率分别提升 3.44 和 3.43 个百分点(至 95.07% 和 84.63%),超过已发表结果。当控制器不读取累积证据时,同一循环收益更少:无历史时在 ETTh1 上达到 0.4299、在 CIFAR-100 上达到 83.71%,而完整控制器的 MAE 低 2.95%、准确率高 0.92 个百分点。在一个新任务上,即无泄漏协议下的语音抑郁检测,它在从选择中留出的种子上达到 0.6164 的 macro-F1,比其基线高 5.5 个百分点,比最强的已发表系统高 4.0 个百分点。代码可在 此 https URL 获取。
| 评论: | 16 页,2 幅图 |
| 主题: | 人工智能(cs.AI);计算与语言(cs.CL) |
| 引用为: | arXiv:2611.22661 [cs.AI] |
| (或 arXiv:2611.22661v1 [cs.AI] 为此版本) | |
| https://doi.org/10.48550/arXiv.2611.22661 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Lili Pan [查看邮箱]
[v1]
2026 年 11 月 17 日星期二 12:20:01 UTC(159 KB)
来源:arXiv cs.CL · arxiv.org