arXiv cs.AI· Nguyen Minh Thang, Trinh Thi Phuong·· 11 小时前AI 评分38
面向 ARC-AGI-2 开放模型的训练与校准数据：规则、轨迹与路由统计
Rules, Traces and Routing Statistics: Training and Calibration Data for Open Models on ARC-AGI-2
AI 导读
研究对比了三种开放模型在四块 L4 GPU、12 小时离线限制下解 ARC-AGI-2 任务所需的训练与校准数据，共报告 120 个隐藏半私有任务上的 189 次运行。
正文 · AI 翻译
摘要：我们研究了哪些训练和校准数据能帮助三个开放模型解决 ARC-AGI-2 任务，前提是求解器在四块 L4 GPU 上离线运行，时间不超过 12 小时。我们在公开任务上离线比较数据，并报告了在 120 个隐藏半私有任务上的 189 次运行。对于 NVARC Qwen3-4B 网格模型，我们构建了一个包含 12,000 条类型化语言可执行规则和 95,993 个任务的语料库；一条规则只有在固定探针集上的行为与所有已接纳规则都不同时才会被接纳，一个任务只有在其数据对能反驳一份最接近的竞争规则候选名单并击败 12 个捷径求解器时才会被接纳。使用修订后的四 GPU 调度，在 1,920 条真实任务记录上继续微调，将半私有得分从 28.96（已发布模型的均值）提升到 33.06（五次运行的均值，最佳 34.86）；没有任何用合成任务训练的检查点——即使使用了全部 95,993 个任务——能超过真实任务模型。对于 Qwen3.8-27B 推理模型，我们在其自身 1,036 条最终答案正确的推理轨迹上进行了微调，并比较了加入其他模型轨迹和合成任务的集合。围绕该模型构建的推理流程（在服务引擎中强制执行的思考上限、每次回答后在演示上检查的 Python 程序、每个输入的长首次尝试）使得分从 26.81 升至 44.03，达到 ARC Prize Foundation 在无时间限制下测得的基座模型水平（42.36）；大部分增益来自推理流程。对于 Qwen3.8-Flash-Next 混合专家模型（125B 参数，6B 激活），GPU 内存限制了并发。按路由器加权激活显著性将每层专家从 512 个剪枝到 384 个，使键值缓存从 0.55M 增长到 1.39M tokens；一个用 ARC 路由统计调整的 296 专家列表，保留程序 token 的专家，再加上 FP8 索引器缓存，达到了 1.96M。借助一个检查程序的工具，该模型得分为 56.67，是我们最好的结果。
| 评论： | 39 页，7 幅图，23 张表 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.06827 [cs.AI] |
| （或此版本的 arXiv:2611.06827v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2611.06827 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Thang Minh Nguyen [查看邮箱]
[v1]
2026 年 11 月 4 日星期三 17:41:09 UTC（326 KB）
来源：arXiv cs.AI · arxiv.org