arXiv cs.CL· Benjamin Wilcox, Dawei Gao, Pradeeban Kathiravelu, Douglas Causey, Kewei Sha, Yunhe Feng·· 10 天前AI 评分23
ArcticQA：面向 LLM 北极科学弃答的数据集与基准
Arctic Questions, Missing Answers: A Dataset and Benchmark for LLM Abstention in Arctic Science
AI 导读
研究者发布 ArcticQA 数据集与 ArcticAbstain 基准，用于评估 LLM 在北极科学选择题中的弃答能力。ArcticQA 含 194 道源自北极一手研究的问题，并自动核查答案支持与干扰项矛盾；ArcticAbstain 对比答案存在与缺失两种条件。
正文 · AI 翻译
摘要：大型语言模型（LLM）在科学多项选择题中没有有效选项时应当弃答，但仅凭频繁弃答并不能证明其对答案可用性的敏感性。我们提出 ArcticQA，一个包含 194 个问题的数据集，这些问题源自北极地区的一手研究，并针对源证据对答案支持和干扰项矛盾进行自动检查。我们进一步开发了 ArcticAbstain，一个配对基准，比较有答案和无答案两种条件，后者将正确答案替换为干扰项，且两种条件均设有明确的弃答选项。我们在高推理强度下评估了来自 Gemini、Claude 和 ChatGPT 系列的八个模型，每种条件进行三次试验，共产生 9,312 条记录响应。有答案条件下的弃答率范围为 0.0% 至 63.0%，而替换正确答案后弃答率平均增加 5.05 个百分点。这些发现凸显了显著的基线差异，以及联合评估弃答频率和响应性的必要性。数据集和基准可在 此 https URL 获取。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.09446 [cs.CL] |
| （或 arXiv:2610.09446v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.09446 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yunhe Feng [查看电子邮件]
[v1]
2026年10月7日星期三 04:58:28 UTC（87 KB）
来源：arXiv cs.CL · arxiv.org