TypeSafe AI 的 System One 模型 Jev 评测：37 个数据集上优于 Qwen 与 Gemma

查看 PDF HTML（实验性）

摘要：Jev 是 TypeSafe AI 推出的商用“System One”模型，它不生成文本：给定状态和带类型的问题，它从固定选项中返回一个选择、在评分量表上的一个位置，或某陈述为真的概率，且这些概率被描述为经过校准。此类模型面向信息获取流程中的小型决策。我们在 37 个数据集上对 Jev（jev-1.13.0）进行零样本评估，涵盖分类、路由、内容审核和量表评分，每个数据集使用一个固定模板，并使用完整评估集：346,009 次请求，费用低于 10 美元。作为参照，我们通过 Qwen3.8-27B 和 Gemma-4-E4B 的精确选项概率，在相同请求上对它们评分。Jev 在 IMDB、SST-2、HellaSwag 和 ARC 上达到 95-99% 的准确率，在 37 个数据集中的 27 个上优于 Qwen，且 Qwen 的领先均未超出自助法区间，并在全部 37 个数据集上优于 Gemma；其选择概率校准良好，并支持选择性预测。三个模型在低资源语言、细粒度或噪声标签以及基于量表的判断上均表现下降，且二元概率需要调整阈值，这使 UNFAIR-ToS 上的 micro-F1 从 0.50 提升到 0.75。与其他 MMLU 问题相比，Jev 对 MMLU 中计算量大的问题回答得更准确，这与两个开源模型不同；探测排除了浅层记忆，但未排除记忆的问答对。将协议扩展到序贯决策（模型在每一步选择下一个动作）后，Jev 完成了 ALFWorld 未见任务的 35%、90 个 TextWorld 游戏的 42% 和 BabyAI-Text 任务的 21%，在 90% 的决策中选择最优 Blackjack 动作，并且在 FrozenLake 上几乎从不为了避开洞而远离目标。它经常重复没有效果的动作。Qwen 完成的 ALFWorld 和 TextWorld 游戏多于 Jev（54.5% 和 51.1%），但在 BabyAI-Text 和 FrozenLake 上存在相同的失败。我们发布了代码、测试框架和所有原始响应。

评论：	代码见此 http URL，模型响应见此 http URL
主题：	计算与语言（cs.CL）；人工智能（cs.AI）
引用为：	arXiv:2609.37647 [cs.CL]
	（或 arXiv:2609.37647v2 [cs.CL] 用于此版本）
	https://doi.org/10.48550/arXiv.2609.37647 由 DataCite 颁发的 arXiv DOI

提交历史

来自：Tobias Deußer [查看电子邮件]
[v1] 2026年9月29日星期二 14:15:04 UTC（174 KB）
[v2] 2026年10月29日星期四 12:54:32 UTC（188 KB）