跳到正文
热点事件持续更新

研究者提出S1CogBench认知实验基准

1 篇报道1 个报道来源9 小时前更新

先了解这件事

AI 综述

Dengzhe Hou 与 Kazunori D Yamada 提出并发布 S1CogBench,用 24 项认知任务评测 System One 决策模型,包括 Jev、Laya 及五个开源模型,称这是首个针对该类模型的认知实验基准。 结果显示,各决策模型的可靠性差异很大:行为表现好并不代表能预测人类,聚合分数会掩盖决策对条件的响应,其速度主要来自不生成文本。

AI 根据报道生成 · 50 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月4日
  1. arXiv cs.CL
    S1CogBench:System One 决策模型在认知实验中能做什么、不能做什么

    研究者提出 S1CogBench,用 24 项认知任务评测 System One 决策模型(含 Jev、Laya 及五个开源模型),这是首个针对该类模型的认知实验基准。结果显示决策模型可靠性差异很大,行为表现好并不代表能预测人类,聚合分数会掩盖决策对条件的响应,其速度主要来自不生成文本。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。