arXiv cs.CL· Zehao Lin, Kai Chen, Xixuan Hao, Erenkai Zhu, Chunyu Li, Helan Hu·· 10 小时前AI 评分26
更好的置信度何时能改善知识图谱审计？
When Does Better Confidence Improve a Knowledge-Graph Audit?
AI 导读
研究通过可修复性、选择余量与标签有效性，分析为何LLM构建知识图谱中更好的错误预测对审计改进有限。在Re-DocRED的跨文档图上，错误率×扇出队列比同等动作的联合模型多留3.98-4.74个百分点错误，而开放共享动作可减少0.89-1.43个百分点残差错误。通用LLM验证在四组模型预算配置中的三组上带来提升。
正文 · AI 翻译
摘要：置信度估计可指导 LLM 构建的知识图谱中的人工审核，但更好的错误预测在审计中带来的改进可能很小。我们通过可修复性、选择余量和标签有效性来研究这一差距。将非自适应审计建模为预算约束下的覆盖问题，我们刻画了与决策相关的最小错误统计量，并用结构质量 $\Delta^{\mathrm{cl}}$ 界定了保持标量的一阶规划的遗憾。我们针对 Re-DocRED 上的五种抽取配置和两个跨文档图，模拟了理想修复与基准对齐标签的对比，随后在测试集上进行冻结确认，并在 500 份哈希选定的训练文档上进行复现。在留出的跨文档图上，错误率 $\times$ 扇出队列比具有相同动作的联合模型多留下 3.98-4.74 个百分点的错误。相比之下，为该联合规划器开放共享动作，相对于其自身仅基于事实的计划，在点估计上将残余错误减少了 0.89-1.43 个百分点。联合模型与独立块模型之间的等价性仍无定论。通用 LLM 验证在每个留出集上改善了四种模型-预算配置中的三种。LLM 裁决识别出了可能的基准遗漏。
| 评论： | 27 页，4 幅图，19 张表。附属文件包括确认协议和汇总结果的公开呈现 |
| 主题： | 计算与语言 (cs.CL) |
| 引用为： | arXiv:2611.05877 [cs.CL] |
| （或 arXiv:2611.05877v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.05877 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zehao Lin [查看电子邮件]
[v1]
2026 年 11 月 4 日星期三 03:12:37 UTC（1,045 KB）
来源：arXiv cs.CL · arxiv.org