arXiv cs.CL· Xing Li, Qingcheng Chang, Jinzhong Ning, Changfeng Xu, Shenlong Zhang, Yijia Zhang, Ling Luo, Hongfei Lin·· 9 天前AI 评分27
专用决策模型 Jev 与通用 LLM 对比：知识、推理与多语言任务基准测试
Specialized Decision Models vs. General-Purpose LLMs: Benchmarking Jev Across Knowledge, Reasoning, and Multilingual Tasks
AI 导读
专用"System One"决策模型 Jev 在 13 个多项选择基准上与 19 个 LLM 对比，在知识与常识任务上媲美前沿 LLM，并在 MMLU-Redux 和 ARC-Challenge 上取得最佳成绩。
正文 · AI 翻译
摘要：Jev 是一个“系统一”模型，它在给定选项中返回一个选择，而不是生成文本。我们研究这种专门的决策模型与通用大语言模型（LLM）相比如何。我们在涵盖知识、推理和多语言理解的 13 个多项选择基准上评估 Jev，并将其与 19 个 LLM 进行比较，分为三个层级：前沿、代表性和小型。Jev 在知识和常识基准上与前沿 LLM 具有竞争力，并在 MMLU-Redux 和 ARC-Challenge 上获得最佳分数。在数学之外，它还优于大多数代表性 LLM 和所有小型 LLM。然而，它在数学应用题上落后：在 MathQA 上，它比前沿中位数低 17.7 分，得分低于所有 19 个 LLM。这些结果表明，专门的决策模型可以在主要依赖知识的决策上匹配通用 LLM，但在需要多步计算的决策上则不能。
| 评论： | 10 页，2 幅图，7 张表 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.11978 [cs.CL] |
| （或 arXiv:2610.11978v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11978 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xing Li [查看电子邮件]
[v1]
2026 年 10 月 8 日星期四 13:52:42 UTC（89 KB）
来源：arXiv cs.CL · arxiv.org