arXiv cs.CL· Ponhvoan Srey, Jason Lucas, Pittawat Taveekitworachai, Junyoung Lee, Anh Tuan Luu·· 12 小时前AI 评分31
用语言模型似然校准事实证据：对比式事实证据 CFE 与对比式事实后验 CFP
Truth in Contrast: Calibrated Factual Evidence from Language Model Likelihoods
AI 导读
研究提出对比式事实证据（CFE）及其概率形式对比式事实后验（CFP），通过比较同一主张在事实与非事实条件下的似然来估计 LLM 对事实陈述的置信度。分析表明 CFP 的校准取决于两个替代条件分布之间的差分误差，共享误差可相互抵消从而获得更紧的校准界；实验中 CFP 显著改善校准，事实判别力与最强基线相当。
正文 · AI 翻译
摘要：大型语言模型（LLMs）编码了大量事实知识。然而，可靠地估计对事实性陈述的信心仍然具有挑战性。我们从判别与校准这两个互补视角出发，跨多语言事实性陈述研究基于似然的事实信心。具体而言，我们将对比生成式似然实例化为对比事实证据（CFE），它在相互竞争的事实性与非事实性条件下比较同一陈述的似然，并推导出其概率对应物——对比事实后验（CFP）。我们通过分析表明，CFP 校准取决于两个替代条件分布之间的差分误差，使得二者共有的误差得以抵消，从而得到更紧的校准界。在实证上，CFP 在保持与其最强竞争者相当的事实判别能力的同时，显著改善了校准。尽管如此，在低资源语言中，各方法的判别能力普遍较弱，这同时削弱了所测校准的效用。为此，我们解释了一种似然几何结构，在其中诱导出一个承载证据的方向，以及一个与之正交的证据不变方向。在我们的研究中，我们仅沿事实证据方向选择性地将目标语言陈述与更强的英语证据对齐，从而在无目标语言标签的情况下改善判别能力和开放式事实生成。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.23527 [cs.CL] |
| （或本版本的 arXiv:2610.23527v1 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2610.23527 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ponhvoan Srey [查看电子邮件]
[v1]
2026年10月16日星期五 14:27:04 UTC（343 KB）
来源：arXiv cs.CL · arxiv.org