arXiv cs.AI· Ruqi Chen, Zilei Wang, Wei Wang·· 12 小时前AI 评分38
ARCANA：面向抽象与类比推理的基准测试
ARCANA: A Benchmark for Abstraction and Analogical Reasoning
AI 导读
研究者提出类比推理基准 ARCANA，要求将现实物体或物理现象映射为抽象网格变换，与侧重人类先天先验的 ARC-AGI 不同，专门测试跨领域的远类比推理。人类研究显示人类能稳定完成这些任务，而多种大语言模型与人类存在明显性能差距，暴露出系统性失败模式。
正文 · AI 翻译
摘要：类比推理被广泛认为是人类智能的基本组成部分。很少有基准被设计用来显式测试远类比推理——即在表面上不相似但共享深层关系或结构相似性的领域之间进行推理。在这项工作中，我们引入了一个名为 Abstraction and Reasoning Corpus of ANAlogy（ARCANA）的类比推理基准。ARCANA 的任务要求将现实世界中的物体或物理现象进行远类比映射到抽象的网格变换，这与著名的 ARC-AGI 基准不同，后者主要强调人类先天先验。我们通过一项人类研究验证了 ARCANA，证明人类能够可靠地解决这些任务。相比之下，对一系列大型语言模型的评估显示出与人类相比明显的性能差距，揭示了当前模型仍然面临挑战的系统性失败模式。为了弥补这一差距，我们提出了 ConceptSIR，一个基于概念滑移、内省和反思的推理框架。实验表明，ConceptSIR 使标准 LLM 能够解决若干具有挑战性的 ARCANA 任务，这些任务在我们的评估中通过直接提示未能解决。总体而言，我们的结果表明，远类比推理仍然是当代 LLM 的一个开放问题。所有材料可在 此 http URL 获取。完整的代码库，包括基准和 ConceptSIR，可在 此 https URL 公开获取。所有 ARCANA 数据和任务实例可在 此 https URL 访问和探索。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.29271 [cs.AI] |
| （或 arXiv:2610.29271v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29271 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ruqi Chen [查看电子邮件]
[v1]
2026年10月21日星期三 06:18:46 UTC（7,808 KB）
来源：arXiv cs.AI · arxiv.org