跳到正文
热点事件持续更新

研究者以计数容量探针测试205个语言模型

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

研究者Tianxiang Dai与Jonathan Fan提出以“计数相同项目”作为检验语言模型任务建模能力的最简测试,并定义计数容量(CC)为模型能准确计数的最长序列长度。在205个模型上测得CC中位数为50项、最高627项;各年发布模型的中位CC仅提升1.6倍,同期上下文窗口扩大约80倍。 在77组配对中,推理并未改变中位CC;控制通用能力后,CC与METR任务时长相关。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv cs.CL
    语言模型任务建模的最小探针:205 个模型的计数能力测试

    研究者提出用"计数相同项目"作为检验语言模型任务建模能力的最简测试,并定义计数容量(CC)为模型能准确计数的最长序列长度。在 205 个模型上测得 CC 中位数为 50 项、最高 627 项,而各年发布模型的中位 CC 仅提升 1.6 倍,同期上下文窗口扩大约 80 倍。在 77 组配对中推理并未改变中位 CC,且 CC 在控制通用能力后与 METR 任务时长相关。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。