arXiv cs.AI· Priyanshu Sinha, Kelsey McDonald·· 3 天前AI 评分22
区分 LLM 放射报告问答中的可答性与信息抽取
Dissociating Answerability from Extraction in LLM Question Answering over Radiology Reports
AI 导读
针对 RadQA 单一 F1 混淆"报告是否含答案"与"答案在哪个片段"两个决策的问题，研究者提出将假答案率与过度弃答率同 F1 并列报告，并把 F1 变化拆分为抽取项与可答性项。
正文 · AI 翻译
摘要：从放射学报告中回答问题涉及两个决策：报告是否包含答案，以及哪个片段给出了答案。错误答案将无依据的说法当作事实呈现；过度弃答则隐藏了报告所述内容。然而 RadQA 的结果被报告为合并两者的单一 F1。我们提出一种评估方法将二者分离，在 F1 之外报告错误答案率和过度弃答率，并将 F1 变化拆分为抽取项和可答性项。我们将其应用于 RadQA 测试集上的 13 个 LLM，采用零样本以及三个累积演示集，最后一个添加了一个不可回答的示例。F1 相近的模型在错误答案率上相差超过两倍。不可回答的示例改变了模型何时作答，而非其抽取质量：13 个模型中有 12 个更频繁地弃答，且它们撤回的答案中有四分之三的 F1 $\geq$ 0.5。在模型内部，错误答案与抽取质量没有明显关联，但依据该决策本身采取行动有所帮助：仅当足够多的其他模型也作答时才保留答案，使零样本错误答案率降低了 4 个百分点，且未检测到 F1 变化。由于这两个决策可以独立变化，我们建议放射学 QA 评估分别报告它们，而非仅通过 F1。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.17576 [cs.CL] |
| （或 arXiv:2610.17576v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17576 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Priyanshu Sinha [查看电子邮件]
[v1]
2026年10月13日星期二 01:55:59 UTC（135 KB）
来源：arXiv cs.AI · arxiv.org