arXiv cs.CL· Junhao Shen, Qing Zong, Yue Guo, Zhanqiu Zhang, Yiwen Guo, Hong Cheng·· 10 小时前AI 评分38
MMDM：面向大规模多任务决策的新基准
MMDM: Measuring Massive Multitask Decision Making
AI 导读
研究者提出 MMDM 基准，含 16 类任务共 5,448 道题，覆盖 2 至 1,024 个选项、最长 64,817 tokens 输入，用于评测 System-1 决策模型。
正文 · AI 翻译
摘要：System-1 决策模型在单次前向传播中，针对查询指定的选项直接做出结构化的概率决策，而无需自回归地生成推理轨迹或文本响应。近期的评估覆盖了多种任务，但往往依赖现有基准，而对测试材料的先前接触可能掩盖泛化能力。此外，现实世界的决策往往涉及长上下文、大选项空间和复杂的逻辑依赖，这些挑战是现有基准无法同时充分捕捉的。因此，我们推出了 MMDM（Massive Multitask Decision Making），这是一个包含 16 个任务类别、5,448 道高质量问题的基准，结合了新构建的任务与基于来源的重组和改写，用于在全新语境中进行单选、多选和软标签决策。它涵盖智能体状态跟踪、工具与技能选择、偏好判断和评分量表打分等现实场景，选项空间从 2 到 1,024，输入长度可达 64,817 个 token。借助 MMDM，我们对 28 个决策模型进行了全面的定量评估，结果表明许多模型在常识知识上表现良好，但在相互依赖的选项、受约束的决策和多选任务上却表现吃力。例如，Perplexity Decider-V1.2 在世界知识上的 Hard Single-select Accuracy 达到 78.75%，但在选项逻辑上仅为 53.95%，在约束规划上仅为 47.95%，而所有模型中最高的 Hard Multi-select Accuracy 为 36.81%。这些结果凸显了联合推理、约束感知选择和完整多选恢复是决策模型发展的关键优先事项，而 MMDM 为衡量这一进展提供了测试平台。
| 评论： | 项目页面：this https URL |
| 学科： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.14309 [cs.LG] |
| （或 arXiv:2611.14309v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.14309 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Junhao Shen [查看邮箱]
[v1]
2026年11月10日星期二 16:40:50 UTC（861 KB）
来源：arXiv cs.CL · arxiv.org