研究者发布 MMDM 多任务决策基准

Junhao Shen 等作者提出并发布 MMDM（Massive Multitask Decision Making）基准，用于评测 System-1 决策模型。该基准含 16 类任务共 5,448 道题，覆盖 2 至 1,024 个选项、最长 64,817 tokens 的输入，题型包括单选、多选和软标签决策。 据作者介绍，题目由新构建任务与基于来源的重组、改写组成，并置于新的语境中；作者同时发布了 28 个决策模型在该基准上的评测结果。

AI 根据报道生成 · 55 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。