arXiv cs.AI· S M Rayeed, Charles V. Stewart, Yao Ma·· 10 小时前AI 评分31
CLADE：检索增强语言模型在证据粒度不足时的类别级作答现象
CLADE: Category-Level Answering from Deficient Evidence in Retrieval-Augmented Language Models
AI 导读
研究者提出 CLADE 现象：检索增强语言模型读到只提到上位类别的粗粒度段落时，会直接作答而非弃答或继续检索。在 PrimeKG 生物医学问题上，仅含疾病家族的段落使弃答率比无信息段落降低 13.8 个百分点，猜测约一半错误；将精确疾病名替换为家族名比删除该句降低弃答率 17.4 个百分点。
正文 · AI 翻译
摘要：检索增强系统常常检索到准确且相关的段落，但这些段落陈述答案的粒度比问题所需的更粗。例如，问题可能问某种药物能治疗哪种具体疾病（家族性高脂血症），而检索到的段落却提到更宽泛的疾病类别（高脂血症）。此前关于上下文充分性的研究将这类粗粒度段落简单视为不充分。我们认为它们构成一种独特情形，称之为可解析的不充分性：仅凭文本无法确定细粒度答案，但它提到的更宽泛类别可映射到领域本体中的一小组候选答案。当语言模型阅读这些仅含类别的粗粒度段落时，会出现我们称之为 Clade（证据不足下的类别级作答）的现象：它们会直接作答，而不是弃答或进一步检索。在来自 PrimeKG 的生物医学问题上，与无信息段落相比，仅含类别的段落使弃答率降低 13.8 个百分点，而由此产生的猜测约有一半是错误的。反事实测试证实了原因：与删除句子相比，将确切疾病名称替换为其更宽泛的类别名称会使弃答率降低 17.4 个百分点。置信度过滤、扩展到更大模型以及明确指示模型弃答等简单修复方法都无法解决 Clade，并且这一现象在 GloBI 的生态物种相互作用数据上得到复现。最后，我们测试本体能否将粗粒度段落转化为确切答案。给定正确的类别，本体列表在 98.5% 的情况下包含真实答案，但字符串匹配仅在 19.8% 的页面中找到该类别。让模型选择类别可将这一比例提高到 30.0%，并将端到端恢复率从 10.0% 提高到 26.8%。总体而言，我们的结果表明语言模型应在何时停止猜测并查询本体，并突出显示该过程中哪些步骤仍未解决。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.14355 [cs.AI] |
| （或 arXiv:2611.14355v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.14355 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：S M Rayeed [查看电子邮件]
[v1]
2026年11月10日星期二 17:16:06 UTC（1,688 KB）
来源：arXiv cs.AI · arxiv.org