跳到正文
Hacker News· de_sty·· 2 小时前AI 评分58

RadixArk 发布 DaisyRose-27B:1200 条任务 RL 训练将 Terminal-Bench 4.1 从 5.6% 提升至 12%

DaisyRose-27B: 1,200-task RL took Qwen3.8 from 5.6% to 12% on Terminal-Bench 4.1

AI 导读

RadixArk 发布首个模型 DaisyRose-27B,基于 Qwen3.8-27B 用其开源 RL 框架 Miles 训练,Terminal-Bench 4.1 pass@1 从 5.6% 提升到 12.0%。

正文 · AI 翻译
DaisyRose-27B: a daisy and a rose carrying the model name.

今天我们发布 DaisyRose-27B,这是 RadixArk 的首个模型,基于 Qwen3.8-27B 构建,并使用 Miles 通过强化学习训练。我们在长时程智能体任务上训练它,会话长度最高可达 1M tokens,仅用 1,200 个精选任务,在 144 块 H200 GPU 上训练了 18 天。DaisyRose-27B 将 Terminal-Bench 4.1 pass@1 从 5.6% 提升至 12.0%。除 Terminal-Bench 4.1 之外,它还在多种其他推理、指令遵循和编码基准上带来提升。

我们发布 BF16、FP8 和 NVFP4 检查点,供大家试用并在此基础上构建。在本文中,我们解释精心设计的任务和高效基础设施如何在有限算力预算下实现这些提升。

DaisyRose-27B compared with eight models across seven benchmarks. DaisyRose scores 12.0 on Terminal Bench 4.1, 75.5 on Terminal Bench 2.1, 46.2 on DeepSWE v1.1, 94.7 on SWE Bench Pro v2, 34.3 on HLE (text only), 82.4 on IFBench, and 90.7 on GPQA Diamond.
Benchmark comparison table with model sizes and scores. DaisyRose-27B has 27B activated and total parameters. Its Qwen3.8-27B baseline scores 5.6, 73.0, 42.2, 91.3, 33.9, 79.5, and 89.2 on the seven benchmarks, respectively.

DaisyRose-27B 在上述每一项基准上都高于原始 Qwen3.8-27B 模型1。提升最大的是 Terminal Bench 4.1,这是一个公认困难的长时程基准。我们的魔力在于以下三个关键要素:高质量训练数据、高效训练后端和稳健的沙箱。

高质量训练数据

我们与 Eigent AI 合作构建这些任务,起点是 Eigent AI 在机器学习、软件工程、科学及其他领域的大量任务池。我们共同构建了数千个候选任务。其中约 1,200 个进入最终训练集。训练任务基于三项标准筛选。

  • 每个任务都针对原始模型犯下的一个错误。我们在每个训练任务上运行原始 Qwen3.8-27B,并仔细重新设计每个任务,使其暴露出我们希望模型不再犯的错误。随后我们调整每个任务,直到其解决率落在合适范围内,既不太容易也不太困难,以便模型从中学习。
  • 每个任务都是多个问题串联而成的长作业。每个任务都包含一串相互依赖的问题,因此智能体必须经历多个阶段的推理、规划和执行。每次尝试在沙箱中最多有 1.5 小时,包含 100 多次工具调用和超过 256k 输出 tokens。
  • 没有奖励作弊的空间。我们审查了每个任务以及模型在其中的尝试。任何无需真正解决即可通过的任务,或存在设计缺陷的任务,都在训练前被修复或移除。

高效训练后端

RadixArk 使用 Miles 训练 DaisyRose-27B,这是我们用于大规模模型后训练的开源强化学习框架,采用完全异步模式:智能体持续工作,模型同时学习,二者互不等待。128 块 H200 运行智能体任务的推理,另外 16 块运行训练器并从轨迹中学习。每一步之后,更新后的模型被发送到运行智能体的 128 块 GPU 上。学习运行在我们的内部训练后端上,该后端专为智能体训练构建:每一步从少量极长会话中学习,其中一些长达 1M tokens,并通过 harness 摘要折叠为多条轨迹。

训练成本降低 57%。 在此次发布中,每块 GPU 峰值算力的 37% 用于有效的训练工作(模型 FLOPs 利用率,即 MFU),这是在我们后端上的数据。基于 Megatron 构建的开源训练器在可比运行中达到 16%。因此,同样的训练所需的 GPU 时间减少了 57%。在混合专家模型上收益更大:Qwen3.6-35B-A3B 上达到 6.2 倍,而在约 300B 参数的 GLM-5.3-Flash 上超过 10 倍。

GPU efficiency: the internal backend reaches 37% versus 16% for the open-source trainer on Qwen3.8-27B, 16.1% versus 2.6% on Qwen3.6-35B-A3B, and 11.7% versus less than 1% on GLM-5.3-Flash.

端到端速度提升 2 倍。 计入智能体在任务上花费的时间,此次发布运行在 144 块 GPU 上训练速度约为每秒 16,800 个 token。开源训练器在相同 GPU 上约为 8,300。

End-to-end training speed on 144 H200s: the internal backend trains 16.8k tokens per second versus 8.3k with the open-source trainer, a 2.0 times speedup.

数周内保持稳定。 此次发布运行在 144 块 H200 上训练了数周,总计 63,000 GPU 小时。从第一步到最后一步,其速度和效率保持稳定。

Training speed and GPU efficiency across 18 days on 144 H200s. Median training-step speed is 19.3k tokens per second and median model FLOPs utilization is 37%; dashed open-source baselines are 13.5k and 16%.
DaisyRose-27B 发布运行在 144 块 H200 上的每个训练步骤,按总训练时间绘制。虚线:可比运行中的开源训练器。

稳健的沙箱服务

在训练期间,智能体的每一次尝试都在沙箱中运行:这是任务环境的一个全新副本,智能体在其中运行命令、编辑文件,然后被评分。RadixArk 团队在此次发布中的所有工作都在我们自有服务的沙箱中运行,该服务基于开源 AgentENV 项目构建,我们也为其贡献修复。从 9 月中旬到 11 月中旬,该服务为此项目运行了约 944,000 个沙箱,同时运行的最多达到 1,566 个。

规模增长中保持可靠。 该服务从单台机器扩展到多达 12 台。我们对其进行了十次升级,几乎全部在训练运行期间完成。在全部九周内,99% 的沙箱创建成功,而自 10 月下旬以来超过 99.95% 成功。实现这一点需要持续不断的修复和改进,例如防止机器在内存耗尽时冻结。

944K total sandboxes, 1,566 peak concurrent sandboxes, and a 99.95% success rate in the final run.

成本降低 80%。 我们为此项目沙箱支出的云基础设施成本,比使用主流云沙箱提供商运行相同沙箱的成本低约 80%。我们降低成本的一种方式是让每个沙箱的内存随其实际使用量增长和收缩。沙箱通常只使用其请求内存的一小部分,因此每台机器可以运行更多沙箱。

试用 DaisyRose-27B,或训练你自己的模型

你可以从 Hugging Face 下载 DaisyRose-27B,也可以使用我们的开源强化学习框架 Miles 训练你自己的智能体。

DaisyRose-27B 是高质量数据和高效基础设施所能实现的一个示例。我们正在将这一方法带给构建专用模型的团队,重点是在保持模型更广泛优势的同时提升他们所需的能力。如果你正在探索为自己的模型进行后训练,请通过 contact@radixark.ai 联系我们。

我们深深感谢 Eigent AI 在训练数据上与我们紧密合作,也感谢 Qwen 团队创造了 Qwen3.8-27B,这是我们工作的基础。我们还感谢 Miles 和 SGLang 社区,以及其他开源项目,包括 slime、AgentENV 和 Harbor。

  1. 我们的评估方式:Terminal Bench 4.1 每个任务取 8 次运行的平均值,使用我们内部的 mini-swe-agent 测试框架并开启摘要功能。Terminal Bench 2.1 每个任务取 5 次运行的平均值,使用 Terminus 2 测试框架。DeepSWE v1.1 和 SWE Bench Pro v2 每个任务分别取 8 次和 5 次运行的平均值,均使用 mini-swe-agent 测试框架。HLE(纯文本)每道题取 5 次运行的平均值,由 GPT-6 Luna 评分,不使用工具。IFBench 在其 300 个提示词上各取 4 次运行的平均值,由官方 allenai/IFBench 评分器按最终回答的提示词级宽松准确率评分,不计思考过程。GPQA Diamond 在其 198 道题上各取 8 次运行的平均值,使用 simple-evals 多项选择模板和答案提取,每次运行时答案顺序都会重新打乱。 ↩

来源:Hacker News · radixark.com