arXiv cs.AI· Adrien Deliege, Marc Van Droogenbroeck·· 6 天前AI 评分22
预训练与测试时训练预算如何影响 ARC：VARC 与 TRM 的受控研究
Pretraining and Test-Time Training Budgets Matter for ARC: A Controlled Study of VARC and TRM
AI 导读
在 ARC-AGI-1 上，VARC 与 TRM 的性能受预训练和测试时训练（TTT）预算影响显著。研究交叉测试了五种预训练预算与四种 TTT 预算，发现增加 TTT 样本呈现次数能提升两个模型的 pass@2 指标，而增加 TTT 任务变体数量仅对 TRM 持续有效，VARC 往往在更少变体下表现更好。VARC 在无预训练时仍具竞争力，TRM 则更依赖预训练。
正文 · AI 翻译
摘要：抽象与推理语料库（ARC）越来越多地被用于评估神经网络能否从少量示例中推断出任务特定的变换。近期的 ARC 模型在架构上有所不同，但在更广泛的训练和评估协议上也存在差异，包括预训练数据、数据增强、测试时设置和优化预算，这使得关于架构优势的结论存在争议。在本工作中，我们在 ARC-AGI-1 上采用统一的归纳协议，研究受视觉启发的 VARC 和基于递归的 TRM 模型的性能如何受到预训练和测试时训练（TTT）预算的影响。我们为每个测试任务将五种预训练预算与四种 TTT 预算进行交叉组合。每种预算指定任务变体数量和总样本呈现次数，从而定义受控的训练预算。我们观察到，增加 TTT 样本呈现次数在所有设置下都能提升两个模型的标准 ARC pass@2 指标。增加 TTT 任务变体数量仅对 TRM 持续有帮助，而 VARC 通常在变体较少时表现更好。VARC 在没有预训练的情况下也保持竞争力，而 TRM 则从中获益更多。这些结果表明，预训练和 TTT 预算会影响 ARC 评估，并促使在可比较的预算下进行报告。
| 评论： | 已被 BNAIC/BeNeLearn 2026 接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.13660 [cs.LG] |
| （或 arXiv:2610.13660v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13660 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Adrien Deliège 先生 [查看电子邮件]
[v1]
2026年10月9日星期五 14:33:30 UTC（112 KB）
来源：arXiv cs.AI · arxiv.org