混合检索、NLI 与开源 LLM 用于科学论断验证的实验研究

查看 PDF HTML（实验性）

摘要：声明验证的任务是判断源文本是支持某个声明、反驳该声明，还是缺乏足够证据。自然语言推理（NLI）模型可以判断单个句子是否支持或反驳某个声明，但当证据分散在多个句子中时，它们就难以应对。相反，大语言模型（LLM）可以跨句子进行推理，但可能得出文本并不支持的结论。在这项实验研究中，我们测试一种保守的融合规则——仅当两个模型都同意时才将声明标记为支持或反驳，否则默认为证据不足——是否能结合两者的优势。我们基于 SciFact 和 CliniFact 构建了一个包含 2,035 条声明的基准（858 条支持、152 条反驳、1,025 条证据不足）。我们使用语义检索与词汇检索（BM25）的混合方法为每条声明检索最相关的前五个句子，该方法略优于单独使用任一方法。随后将这些检索到的句子提供给每个验证模型。然后我们将 DeBERTa-v3-base-mnli-fever-anli NLI 基线模型与 Llama 3.1 8B、Qwen3 8B 和 Mistral 7B 进行比较。Qwen3 取得了最高的 Macro-F1（0.7937），其次是 Llama 3.1（0.7204）和 Mistral（0.6388），而 NLI 基线仅达到 0.3157。与我们的假设相反，融合反而降低了性能，Macro-F1 分别降至 0.7392、0.6730 和 0.5991。为了理解这一下降，我们分析了 NLI 与 LLM 验证器之间的一致、分歧以及常见错误模式。我们的错误分析表明，NLI 与 LLM 之间的分歧往往会导致正确的 LLM 预测被推翻。

提交历史

来自：Lakshmi Narayanan Padmanabhan [查看电子邮件]
[v1] 2026 年 11 月 2 日星期一 13:12:13 UTC（2,528 KB）