arXiv cs.AI· Philipp Mondorf, Adrien Deli\`ege, Solim LeGris, Claas Beger, Ryan Yi, Barbara Plank, Brenden M. Lake, Todd M. Gureckis·· 11 小时前AI 评分38
ConceptARC at Scale：研究推理模型的概念理解能力
ConceptARC at Scale: Studying Conceptual Understanding in Reasoning Models
AI 导读
研究者推出 ConceptARC at Scale 生成器，可针对特定概念批量生成 ARC 风格任务，并据此构建 ConceptARC-100 数据集，包含 1600 个经人工审核的新任务，覆盖 ConceptARC 定义的 16 个概念、每个概念 100 个任务，规模为原基准的十倍。
正文 · AI 翻译
摘要：大型推理模型（LRM）在具有挑战性的基准测试中表现良好，但它们是否能在概念相关的推理任务之间形成可泛化的抽象仍不清楚。抽象与推理语料库（ARC）为研究抽象提供了一个受控测试平台，要求求解器从少量示例中推断二维网格上的变换规则。虽然 ARC 评估单个任务内的规则抽象，但不同任务可能共享更高层次的结构，尽管需要不同的变换$\unicode{x2014}$例如，若干任务可能涉及对包含在其他对象中的对象进行推理。ConceptARC 等基准通过将 ARC 风格的任务分组为反复出现的空间和语义概念来捕捉这种结构，但它们通常每个概念只包含少量人工构建的任务。我们提出 ConceptARC at Scale，一个用于创建数千个针对特定概念的 ARC 风格任务的生成器。使用该生成器，我们构建了 ConceptARC-100，这是一个包含 1,600 个经过人工审核的新任务的数据集，针对 ConceptARC 定义的 16 个概念各包含 100 个任务$\unicode{x2014}$规模是原始基准的十倍。我们在 ConceptARC-100 上评估了一系列近期 LRM 和从头训练的模型，以刻画它们能可靠解决哪些概念以及在哪些方面存在困难。我们进一步分析了模型的内部表示，并发现了清晰的语义结构：任务表示根据应用于对象的操作（如重新着色、移除或平移）进行聚类，即使这些操作通过显著不同的规则和场景实现。总之，我们的结果表明，模型形成了变换操作的稳定抽象，这些抽象能够泛化到多样化的任务中。
| 评论： | 23 页，14 张图 |
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.06732 [cs.AI] |
| （或 arXiv:2611.06732v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06732 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Philipp Mondorf [查看电子邮件]
[v1]
2026 年 11 月 4 日星期三 16:17:36 UTC（5,752 KB）
来源：arXiv cs.AI · arxiv.org