GVS5H 方法让 Qwen3.8-27B 在 LiveCodeBench 上从 66.8% 升至 92.4%

GVS5H：Gorilla 对战 5 个人类

结果

Opus 5 运行在早期版本的脚手架上，通过 OpenRouter 以单次调用方式提供服务，而非在固定后端上运行五次。

摘要。前沿编码性能通常需要以高成本使用更大的专有模型来换取。我们提出基于账本的零样本自编排，这是一种无需训练的方法：同一模型的新实例通过一个共享文件系统（存放计划、笔记和当前解决方案）来分解问题并协调工作。在 100 道最新的高难度 LiveCodeBench 问题上，对十一个开放权重和闭源权重模型进行测试，该方法在固定后端上带来最高 25.6 个百分点的提升，并提供两条达到前沿级准确率的路径。经编排的 Qwen3.8 Flash Next 达到 93.0% 的 pass@1，而 Fable 5 为 90.4%，成本仅为其 9%；本地部署的开放权重 Qwen3.8-27B 则从 66.8% 提升至 92.4%。提升并非普遍适用：部分模型没有变化甚至更差。对话记录分析将提升归因于问题分解和持久上下文。推理时组织能够以极低成本接近前沿编码准确率，或在可自托管的权重上略微超越。

— 论文

运行代码

需要 uv 以及你要测试的模型的 API 密钥。

cd codebase/v2-current
export OPENAI_API_KEY=...

LCB_RELEASE=release_v6 \
ESCALATION_CLOUD_MAX_TOKENS=128000 \
ESCALATION_CLOUD_TIMEOUT=7200 \
MULTIAGENT_MODEL=openai:gpt-5.6-terra \
uv run --no-project --python 3.12 --with 'datasets<4' --with numpy --with anthropic \
  python escalation/run_bench.py --engine multiagent --only lcb --lcb 100 --parallel 8

• --engine multiagent 运行管理器；--engine single 是单次调用基线。
• 其他模型：anthropic:<model>、dashscope:<model>、openrouter:<model>，各自带有自己的 *_API_KEY。
• pass@1 分数会在最后打印。结果写入 runs/results.json，工作区写入 runs/ws/。

许可证

代码采用 MIT 许可证。论文、图表和运行数据采用 CC BY 4.0。LiveCodeBench 分支、基准问题陈述 和 LaTeX 模板文件保留各自的许可证。参见 NOTICE.md 了解 各路径分别适用哪种许可证。