arXiv·· 12 天前AI 评分22
惩罚框架下无正确选项 MCQA：分析 LLM 在无效选项下的弃答行为
Penalty-Framed No-Valid-Option MCQA: Analyzing LLM Abstention under Invalid Choices
AI 导读
研究提出"惩罚框架下无正确选项 MCQA"设定，基于 MMLU-Pro 数学子集移除正确选项，考察 LLM 是选择剩余选项还是弃答。该设定模拟真实部署中用户或检索系统提供无效选项集、误选会带来下游代价的情况，而传统 MCQA 评估默认选项中有正确答案。
来源：arXiv · arxiv.org