arXiv cs.CL· Huishan Ji, Hua Xu, Weiming Zhang, Qirui Ye·· 10 天前AI 评分46
YANchor-4B：以 O(N) 时间和 O(1) 内存实现高效长程推理
YANchor-4B: Effective Long-Horizon Reasoning in O(N) Time with O(1) Memory
AI 导读
YANchor-4B 是一个通用循环模型，通过将关键记忆保留为 ANchor 供后续推理检索，实现 O(N) 时间生成与 O(1) 内存。在 AIME 2024–2026 上取得 82.93% 平均 pass@1，HMMT 上达 63.64%，大幅超越线性时间、恒定状态的同类模型（包括更大模型）。
正文 · AI 翻译
摘要：长时程推理要求在可接受的生成成本下访问较早的信息。全历史注意力会带来不断增长的存储和计算开销，而循环压缩可能丢失精确细节。因此，我们提出 YANchor-4B，一种通用循环模型，它将关键记忆保留为 ANchor，以便在后续推理中检索。除了 $O(N)$ 时间生成和 $O(1)$ 内存之外，YANchor 通过其多维记忆机制实现有效的长时程推理。例如，在具有挑战性的数学问题上，它在 AIME 2024--2026 上达到 82.93% 的平均 pass@1，在 HMMT 上达到 63.64%，大幅优于线性时间、恒定状态的同类模型，包括更大的模型。在 H100 上，它还提供了比 Transformer 和混合基线高出数倍的批量长生成吞吐量。此外，在数十个基准上的评估表明 YANchor 在通用能力方面的优越性。
| 评论： | 24 页，8 幅图。代码：此 https URL ；模型：此 https URL |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.10118 [cs.LG] |
| （或 arXiv:2610.10118v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.10118 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Huishan Ji [查看电子邮件]
[v1]
2026 年 10 月 7 日星期三 14:03:50 UTC（1,480 KB）
来源：arXiv cs.CL · arxiv.org