arXiv cs.CL· Yanrui Du, Danyang Zhao, Sendong Zhao, Wenhao Li, Yibo Gao, Haochun Wang, Zhuoer Xu, Shiwen Cui, Bing Qin·· 11 小时前AI 评分34
Jev 类系统一决策模型在医学场景有多可靠？与 LLM 的对比研究
How Reliable Are System-One Decisions in Medicine? A Comparative Study of Jev, Jev-like Models, and LLMs
AI 导读
一项对比研究在 15 个医学数据集、8,742 个实例上评估了 Jev、Jev-like 模型与 LLM 的系统一决策可靠性。Jev 在文本驱动任务上可与领先模型匹敌，但在数值驱动任务上表现较弱，暴露出能力边界；面对问题格式变化，Jev 决策一致性较强、准确率波动小，StartLux-27B 一致性相当，D3-27B 总体准确率更高且平均决策反转率更低。
正文 · AI 翻译
摘要：Jev 因其快速、可泛化的决策能力而备受关注，但其医学可靠性仍缺乏充分探索。为填补这一空白，本研究在统一协议下，于 15 个医学数据集（共 8,742 个实例）上比较了多种系统一决策模型。除准确率外，我们还评估了决策稳定性以及识别不可靠决策的能力。结果表明，Jev 在主要依赖文本的任务上可与领先模型匹敌，但在数值驱动的任务上效果较差，揭示出明显的能力边界。在问题格式变化下，Jev 保持了较强的决策一致性和较小的准确率波动。StartLux-27B 表现出相当的一致性，而 D3-27B 则实现了更高的总体准确率和更低的平均决策反转率。但这些优势并未延伸到可靠的弃权意识：大多数被评估模型在识别缺失正确答案和使用可选弃权两方面均表现出局限。此外，我们发现 Jev 基于概率的答案选择可以通过改变决策评分方式加以改进：对逐选项二元分数进行归一化，比选择评分能获得更高的保留准确率。综上，我们的发现为医学决策模型的改进与应用提供了早期指导。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.18529 [cs.CL] |
| （或 arXiv:2610.18529v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18529 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Danyang Zhao [查看邮箱]
[v1]
2026年10月13日 星期二 15:15:46 UTC（316 KB）
[v2]
2026年10月16日 星期五 16:01:04 UTC（327 KB）
来源：arXiv cs.CL · arxiv.org