arXiv cs.CL· Haozheng Liu, Zhaoqian Xue, Zhongyin Wang, Junting Mu, Zihui Ma, Shuya Feng, Lingyao Li·· 12 小时前AI 评分34
决策模型能否替代 LLM 做幻觉检测评判？arXiv 论文对比 gpt-6-sol
Decision Models as Judges for Hallucination Detection
AI 导读
研究构建了覆盖五类幻觉的二元基准（6 个数据集共 9,852 条），对比五种决策模型与生成式评判模型 gpt-6-sol。最佳决策模型在上下文不一致上与 gpt-6-sol 的平衡准确率持平，事实错误上差距在 3 个百分点内，但逻辑与指令不一致上落后 4-8 个百分点。
正文 · AI 翻译
摘要：大语言模型被广泛用作模型输出的评判者（LLM-as-a-Judge），但它们成本高昂，且可能产生幻觉或过度自信。决策模型是一种潜在的替代方案。它们返回带有每个标签概率的预定义判定，而非自由形式的文本，并且成本更低、速度更快。我们在幻觉检测上检验了这一前景。我们为五种幻觉类型构建了二元基准（来自六个数据集的 9,852 个条目），并将五个决策模型与生成式评判模型 gpt-6-sol 进行比较。性能在很大程度上取决于类型：最佳决策模型在上下文不一致上的平衡准确率与 gpt-6-sol 相当，在事实错误上差距在 3 个百分点以内，但在逻辑不一致和指令不一致上落后 4-8 个百分点。决策模型的概率过度自信，尽管程度低于 GPT-6 模型，并且仅能适度区分正确与错误决策。我们还发现，决策模型的置信度级联在三种类型上比最佳单一模型提升 1.9-3.3 个百分点，并以 1-3% 的成本达到或超过 gpt-6-sol。总体而言，决策模型对某些幻觉类型而言是一种实用的低成本评判者，但使用前需要经过验证。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.37229 [cs.CL] |
| （或 arXiv:2610.37229v1 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.37229 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Haozheng Liu [查看电子邮件]
[v1]
2026 年 10 月 27 日星期二 13:38:28 UTC（401 KB）
来源：arXiv cs.CL · arxiv.org