arXiv cs.CL· Ayana Niwa, Miyu Yamada, Kouta Nakayama, Masahiro Kaneko, Hisami Suzuki, Satoshi Sekine·· 12 小时前AI 评分31
重新审视 LLM 事实核查器的评估方法
Rethinking the Evaluation of LLM Fact-Checkers
AI 导读
研究提出 JSFactCheckBench，一个明确指定问题范围、判定条件和证据来源三项设计决策的日文基准，包含 1913 条来自 LLM 回答的声明，均针对日本社交媒体流传的误导信息。
正文 · AI 翻译
摘要：大语言模型（LLM）被广泛用于回答事实性问题，但其答案可能包含错误，必须逐条声明进行事实核查。然而，最终得分取决于三个设计决策：这些声明回答的是哪些问题、每条声明在什么条件下被判定，以及哪些来源算作证据。现有基准均未同时明确这三点。我们提出 JSFactCheckBench，这是一个同时明确这三点的日语基准，包含 1,913 条声明，来自 LLM 对日本社交媒体上流传的误导性信息相关问题的回答；每条声明都基于预先选定的网络来源证据，标注了参考时间点的事实性及其对问题的重要性。在六个 LLM 上，所有模型对直接回答问题的声明进行验证的准确率都低于补充性声明，这一差距被聚合得分所掩盖。当模型必须在更长或多个来源中定位相关内容时，得分也会下降；而对于全部四个开源模型，当加入周围的问题和回答时，得分同样下降。这些弱点之所以可见，仅仅是因为该基准记录了每个标签背后的条件。若基准将这些条件隐去，就无法揭示它们。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.30504 [cs.CL] |
| （或 arXiv:2610.30504v1 [cs.CL] 为本版本） | |
| https://doi.org/10.48550/arXiv.2610.30504 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ayana Niwa [查看邮箱]
[v1]
2026年10月21日星期三 22:36:44 UTC（531 KB）
来源：arXiv cs.CL · arxiv.org