arXiv cs.AI· Chandra N Sekharan, Vishakan Umapathy, Abhishek Phadke·· 1 天前AI 评分31
SAGE-QA：面向 SQuAD 2.0 闭卷问答的语义感知、有据评估框架
SAGE-QA: Semantic-Aware, Grounded Evaluation for Closed-Context Question Answering on SQuAD 2.0
AI 导读
SAGE-QA 提出结合语义等价评分（SES）与基于段落的再验证评分（RVS）的多层评估框架，用于区分生成式 LLM 的合理改写与事实错误。
正文 · AI 翻译
摘要：封闭上下文问答（QA）要求系统生成严格由所提供段落支持的答案，或在段落缺乏充分证据时弃答。SQuAD 2.0 是这一设定下广泛使用的基准，以精确匹配（EM）评分，即在词法归一化后与人类参考片段进行字符级一致性比对。然而，对于生成式大语言模型（LLM），EM 失败可能反映的是有效的改写或段落支持的替代答案，而非幻觉。此前排行榜最佳 EM 约为 91%，但评估生成式模型需要将词法差异与事实错误区分开来。我们提出 SAGE-QA（语义感知、有依据的问答评估），这是一个多层框架，结合了基于参考的语义等价评分（SES）和基于段落的再验证评分（RVS）。在一组固定的 10,000 个 SQuAD 2.0 验证样本上，我们针对零样本闭权重前沿模型以及开放权重模型（未微调和微调）计算 EM 和由 TP、TN、FP、FN 计数得出的决策矩阵 F1。零样本下，Claude Opus 4.6 和 Gemini 3.1 Pro 达到 85.21 和 86.66 EM，优于未微调的 Llama 3 8B（56.88）、gpt-oss-20b（66.28）和 Llama 3.3 70B（71.39）。参数高效微调增加了 21.19 至 34.06 个 EM 点，使这些模型分别提升至 90.94、87.47 和 94.24 EM。使用 SAGE-QA 和外部 LLM 评判器审计前沿模型，得到数据集范围的 SES 分数：Claude Opus 4.6 为 92.81，Gemini 3.1 Pro 为 91.67；混合 RVS 分数（结合基准得分与基于段落的评判器评估）分别为 97.96 和 98.02。微调的开放权重模型表现最佳，微调的 Llama 3.3 70B 超越了此前已知的最佳 EM。
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.16300 [cs.AI] |
| （或 arXiv:2611.16300v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.16300 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Chandra Sekharan N [查看电子邮件]
[v1]
2026年11月12日星期四 04:56:28 UTC（21 KB）
来源：arXiv cs.AI · arxiv.org