arXiv cs.AI· Jinhyeok Kim, Hye-Young Jung·· 10 天前AI 评分24
惩罚框架下的无有效选项 MCQA：分析 LLM 在无效选项下的弃答行为
Penalty-Framed No-Valid-Option MCQA: Analyzing LLM Abstention under Invalid Choices
AI 导读
研究提出"惩罚框架下的无有效选项 MCQA"设定，在 MMLU-Pro 数学子集上移除正确选项，允许模型选择剩余选项或输出 ABSTAIN，并对无效强制选择进行惩罚。实验显示，高 MCQA 准确率并不能完全保证弃答可靠性：即便有明确的无有效选项指令和惩罚性评分，模型在部分原本答对的题目上仍会做出无效强制选择。该研究已被 AACL-IJCNLP 2026 主会议短论文接收。
正文 · AI 翻译
摘要：多项选择问答（MCQA）通常用于评估大型语言模型，其假设是所提供的选项之一是正确的，通常采用答案选择准确率。然而，在实际部署中，用户或检索系统可能提供无效的选项集，其中列出的选项均不正确，选择其中之一可能会带来下游成本。我们将此设置研究为惩罚框架下的无有效选项 MCQA。使用 MMLU-Pro 的数学子集，我们移除标注的正确选项，允许模型选择剩余选项之一或输出 ABSTAIN，并对无效的强制选择响应进行惩罚。我们进一步引入正确条件分析，仅在模型原本回答正确的实例上评估弃权。实验表明，高 MCQA 准确率并不能完全保证弃权可靠性：即使在明确的无有效选项感知指令和基于惩罚的评分下，模型仍会对一部分原本正确的实例产生无效的强制选择响应。这些结果表明，惩罚框架下的无有效选项 MCQA 揭示了标准答案选择准确率未能捕捉的模型可靠性方面。
| 评论： | 已被 AACL-IJCNLP 2026 主会议（短文）接收 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.08153 [cs.CL] |
| （或 arXiv:2610.08153v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.08153 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Hye-Young Jung [查看电子邮件]
[v1]
2026年10月6日星期二 11:04:20 UTC（225 KB）
来源：arXiv cs.AI · arxiv.org