arXiv cs.CL· Furong Jia, Yuan Pu, Finn Guo, Monica Agrawal·· 2 天前AI 评分36
轻量概率基线 FBPR 在 MedQA 诊断题上可媲美 LLM
Counting Clues: A Lightweight Probabilistic Baseline Can Match an LLM
AI 导读
研究者提出 Frequency-Based Probabilistic Ranker（FBPR），用基于概念—诊断共现统计的平滑朴素贝叶斯给选项打分，在 MedQA 最可能诊断题上达到与对应 LLM 相当的表现。
正文 · AI 翻译
摘要：大型语言模型（LLM）在多项选择临床诊断基准上表现出色，但其表现中有多少反映了底层的概率推理尚不清楚。我们通过 MedQA 中要求给出最可能诊断的问题来研究这一点。我们提出了基于频率的概率排序器（FBPR），这是一种轻量级方法，它利用大型语料库中概念-诊断共现统计上的平滑朴素贝叶斯对选项进行打分。当共现统计来自 Dolma（OLMo 的预训练语料库）和 RedPajama（LLaMA 预训练数据配方的开源复现）时，FBPR 达到了与相应 LLM 相当的性能。此外，直接 LLM 推理与 FBPR 表现出互补优势，二者正确回答的问题子集在很大程度上不同，重叠率仅略高于随机水平。用一种简单的混合方法将二者结合，相比任一单独方法都有显著提升。这些发现表明，显式概率基线可以解释诊断问题上基准表现的相当一部分，同时可作为有历史依据的参考点和用于混合的互补信号。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2512.12868 [cs.CL] |
| （或本版本的 arXiv:2512.12868v2 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2512.12868 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Furong Jia [查看邮箱]
[v1]
2025年12月14日周日 23:00:10 UTC（1,196 KB）
[v2]
2026年10月27日周二 01:37:22 UTC（1,779 KB）
来源：arXiv cs.CL · arxiv.org