arXiv cs.CL· Tianxiang Dai, Jonathan Fan·· 10 小时前AI 评分48
语言模型任务建模的最小探针:205 个模型的计数能力测试
A minimal probe of task modeling in language models
AI 导读
研究者提出用"计数相同项目"作为检验语言模型任务建模能力的最简测试,并定义计数容量(CC)为模型能准确计数的最长序列长度。在 205 个模型上测得 CC 中位数为 50 项、最高 627 项,而各年发布模型的中位 CC 仅提升 1.6 倍,同期上下文窗口扩大约 80 倍。在 77 组配对中推理并未改变中位 CC,且 CC 在控制通用能力后与 METR 任务时长相关。
正文 · AI 翻译
摘要:语言模型能够读取长上下文,并在知识与推理基准上取得良好成绩,但这二者都无法说明模型能否完成那种下一步取决于此前全部内容的工作,而长期运行的智能体必须做到这一点。我们将这种能力称为任务建模,并提出以计数相同项目作为其最简单的测试:每个项目都会累加到总数中,而没有任何项目记录这个总数。我们将计数容量(CC)定义为模型返回精确计数的次数多于不精确计数的序列长度上限,并对 205 个模型进行了测量。每一项已解析的测量都会突然失去计数能力,中位数为 50 个项目,最多为 627 个;从发布年份来看,中位数上升了 1.6 倍,而上下文窗口扩大了约 80 倍。改变被计数的符号或分隔符会使模型的 CC 变化数倍,但在 16 个模型和 11 种编码中,模型本身解释了约四分之三的方差。在 77 对匹配样本中,推理并未改变 CC 的中位数。在六个开放权重模型中,计数在早期层中越过边界后仍可读取,但未能到达输出;而将计数向前传递的激活编辑也会传递对象跟踪任务的状态。在控制一般能力后,CC 与 METR 任务时间跨度相关,并且在网格执行任务上随容量上升,在关闭推理时在对象跟踪任务上也随容量上升。我们并未证明计数对于长时程工作是必要或充分的;这仍是一个假设,而这种低成本测量可以对其进行检验。
| 评论: | 如需获取用于复现本研究的数据和代码,请参见此 https URL |
| 主题: | 计算与语言(cs.CL) |
| 引用为: | arXiv:2605.02028 [cs.CL] |
| (或 arXiv:2605.02028v3 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2605.02028 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Tianxiang Dai [查看电子邮件]
[v1]
2026年5月3日星期日 19:27:36 UTC(2,893 KB)
[v2]
2026年5月16日星期六 23:34:26 UTC(3,709 KB)
[v3]
2026年11月18日星期三 18:44:26 UTC(1,841 KB)
来源:arXiv cs.CL · arxiv.org