arXiv cs.AI· Vaibhava Lakshmi Ravideshik, Mayank Kejriwal·· 13 小时前AI 评分32
LLM 评判器评估实体对齐的可靠性研究
Reliability of LLM Judges for Evaluating Entity Alignment
AI 导读
首个针对实体对齐（EA）任务的 LLM-as-judge 系统性基准测试发现，当系统决策标签可见时，评判器会出现"锚定偏差"，判别能力大幅下降（J-ROC-AUC 仅 0.12–0.87）。
正文 · AI 翻译
摘要：实体对齐（EA）用于识别知识图谱中的等价实体，对知识库集成和本体合并至关重要。大规模评估 EA 系统需要昂贵的专家标注，使得跨多样领域的系统评估在实践中难以实现。LLM 作为评判者的评估提供了一种潜在可扩展的替代方案，但其在 EA 等结构化预测任务中的可靠性尚未得到研究。我们提出了首个系统性基准测试研究，涵盖三个前沿模型、三个数据集和四个 EA 系统，采用扰动偏差诊断、跨所有数据集—评判者—提示组合的元评估以及反事实标签翻转测试。我们发现了锚定偏差，这是一种失败模式，即当系统的决策标签可见时，评判者会反转其区分能力。在暴露标签的提示下，评判者的区分能力崩溃（J-ROC-AUC 0.12–0.87），而无标签协议在独特名称数据集上恢复了接近上限的能力（NeuSymEA 为 0.98–1.00），在生物医学实体对上也有显著恢复（0.93–0.95）。反事实标签翻转表明，可见标签在 53–99% 的实体对中因果性地使分数偏移超过 2 分（FSR），且敏感性随模型能力增强而增长，我们将这一模式称为前沿模型悖论：更强的评判者更易受标签影响，而非更少，但同时也是更好的无标签预测器。偏移方向不一，因此我们将其作为观察到的模式报告。一项盲法双标注者人工评估（102 对，Cohen's $\kappa$ = 0.902）提供了金标准标签参考。我们发布了首个生物医学 EA 基准（MeSH–SNOMED CT，15K 对）以及一个用于 EA 中 LLM 评判者可靠性的可复现审计框架。代码和数据可在 此 https URL 获取。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.09554 [cs.AI] |
| （或 arXiv:2610.09554v2 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.09554 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Vaibhava Lakshmi Ravideshik [查看邮箱]
[v1]
2026年10月7日星期三 06:55:45 UTC（1,498 KB）
[v2]
2026年10月29日星期四 09:17:14 UTC（1,499 KB）
来源：arXiv cs.AI · arxiv.org