跳到正文
arXiv cs.AI· Pavan Kumar Mantha·· 10 小时前AI 评分22

基于冻结语言模型的医学选择题 System 1 决策模型

A System 1 Decision Model for Medical Multiple-Choice Questions Built on Frozen Language Models

AI 导读

研究者基于冻结的 Qwen3.5-0.8B、Granite-4.2-3B 和 Qwen3-8B,仅训练两个投影头和一个温度参数,在 MedMCQA 的 3,842 道留出题上构建单次作答的 System 1 模型。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:System 1 模型通过单次前向传播回答一道多项选择题。一个冻结的语言模型将问题和每个选项转换为向量,两个小型且经过训练的头部将它们置于共享空间中,最接近的选项获胜。该设计已在智能体决策中得到展示,但我们尚未见到有研究考察它在需要医学知识的考试题目上能走多远——在这类题目中,正确选项往往并不比错误选项与问题更相似。我们为 MedMCQA 从头重建了该方案,仅在冻结的 Qwen3.5-0.8B、Granite-4.2-3B 和 Qwen3-8B 之上训练两个投影头和一个温度参数,使用带有批内负样本和困难负样本的对比损失,以及针对重复答案的掩码。使用普通的末 token 向量时,两个小型编码器大约每三道题能答对一道(在 3,842 道留出问题上分别为 33.1% 和 33.0%,随机猜测为 25.0%)。将每段文本写入一个单词摘要提示中并降低头部的学习率后,两个小型编码器的准确率分别提升至 41.7% 和 42.5%,Qwen3-8B 则提升至 46.0% +-0.2(三个随机种子)。将问题与选项打乱后,准确率回落到随机水平,因此这些头部确实利用了问题。Flan-PaLM 和 Med-PaLM 2 在不同协议下报告了 MedMCQA 上 57.6% 和 72.3% 的成绩,因此我们的方法是一个廉价、快速的基线,而非有竞争力的系统。我们还说明了我们的证据无法证明什么:验证集增益约为测试集增益的 1.7 至 2 倍,并且我们无法将读取多个编码器层的影响与其他改动区分开来。
评论: 12 页,含 7 个表格说明
主题: 人工智能(cs.AI);计算与语言(cs.CL)
引用为: arXiv:2611.23832 [cs.AI]
  (或 arXiv:2611.23832v1 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.23832

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Pavan Kumar Mantha [查看电子邮件]
[v1] 2026 年 11 月 18 日星期三 04:38:49 UTC(18 KB)

来源:arXiv cs.AI · arxiv.org