arXiv cs.AI· Mesut Ceylan, Arda Baris Basaran, Elgar Fleisch, Filipe Barata·· 13 小时前AI 评分34
Neighborhood Elites：用质量-多样性搜索为问答中的不确定性量化构建扰动邻域
Neighborhood Elites: Quality-Diversity Search for Uncertainty Quantification in Question Answering
AI 导读
研究者提出 Neighborhood Elites（NE），将输入扰动重构成质量-多样性（QD）搜索问题，沿“编辑类型”和“上下文支持显式程度”两个轴生成保持答案不变的改写。
正文 · AI 翻译
摘要：大型语言模型（LLM）的能力日益增强，但它们产生的错误答案与正确答案难以区分。在问答（QA）中，此类错误会在不被察觉的情况下传播到下游任务。基于扰动的不确定性量化（UQ）通过在一组输入改写上探测模型，并从其预测的变化程度中读取不确定性，以此解决该问题。然而，这组改写通常是通用地构建的，例如自由复述、词元级扰动或对抗性搜索。这类改写使两个在问答中至关重要的因素不受控制：对上下文所做的更改类型，以及上下文对答案的支持有多明确。当两者都不受控制时，这组改写的构成由生成器决定，而非由设计决定，估计结果也就继承了该生成器恰好产生的任何内容。质量-多样性（QD）搜索旨在覆盖预定义的探索空间，因此我们将输入扰动重新表述为一个 QD 问题，并提出 \emph{邻域精英（NE）}，一种邻域构建器，将保持答案不变的改写分布在两个轴上：编辑类型和支持明确程度。我们将 NE 与另外三种邻域构建器进行比较，保持编辑器、QA 模型、不确定性度量和搜索目标固定，并与从原始上下文读取的三种分数进行比较。在五个抽取式问答数据集和五个指令微调 LLM 上，NE 在 25 个数据集-模型对中的至少 24 个上相比其他所有构建器提升了失败检测，达到 0.726 AUROC，并在 AUPRC 上比基准率提升 0.211。此外，NE 在失败检测上优于在解码器样本上计算的语义熵，AUROC 提升 0.074，AUPRC 提升 0.062，且这一优势随着邻域增大而扩大。
| 学科： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.40278 [cs.AI] |
| （或 arXiv:2610.40278v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.40278 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Mesut Ceylan [查看电子邮件]
[v1]
2026年10月29日星期四 15:32:57 UTC（1,709 KB）
来源：arXiv cs.AI · arxiv.org