arXiv cs.CL· Sinan G. Aksoy, Alexandra A. Sabrio, Erik VonKaenel, Lee Burke·· 12 小时前AI 评分34
文档大海捞针：LLM-as-a-Judge 相似度评分的敏感性测试
Semantic Needles in Document Haystacks: Sensitivity Testing of LLM-as-a-Judge Similarity Scoring
AI 导读
研究提出多因素实验框架，测试 7 个 LLM 在数万对文档上对细微语义变化的敏感度，扰动类型包括否定、连词替换和命名实体替换。结果显示模型存在文档内位置偏差，语义改动越靠前扣分越重；当改动句被主题无关上下文包围时，几乎所有设置下相似度分数反而升高。所有模型对扰动类型的惩罚排序一致（否定最重），但尺度差异显著。
正文 · AI 翻译
摘要：我们提出了一个可扩展的多因素实验框架，系统性地探究 LLM 对成对文档比较中细微语义变化的敏感性。我们将此类比为大海捞针问题：一个语义被改动的句子（针）嵌入在周围上下文（大海）之中，我们在所有组合中改变扰动类型（否定、连词替换、命名实体替换）、上下文类型（原始上下文与主题无关上下文）、针的位置以及文档长度，在数万对文档上测试了七个 LLM。我们的分析揭示了若干引人注目的发现。首先，LLM 可能表现出一种文档内位置偏差，这不同于此前研究的候选顺序效应：某些模型在语义差异出现在文档更靠前位置时，会对其施加更严厉的惩罚。其次，当被改动的句子被主题无关的上下文包围时，在几乎所有设置下都会提高相似度分数。这与矛盾解释相一致，即主题相关的上下文会使改动与周围句子产生冲突。第三，所有模型在给不同扰动类型打分时的严厉程度都表现出相同的层级关系，其中否定受到的惩罚最重，但它们表达这一层级关系的尺度存在显著差异。最后，在若干备选方案中改变提示词对语义相似度的界定，会改变这些效应的幅度，但不会改变其方向。总之，这些结果表明，LLM 语义相似度分数对上述参数的敏感性超出了语义变化本身；我们的框架为审计和比较当前及未来模型的打分行为提供了一个实用工具包。
| Comments: | 21 页，10 幅图，1 张表 |
| Subjects: | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| MSC classes: | 68T50, 68T01 |
| Cite as: | arXiv:2604.18835 [cs.CL] |
| （或 arXiv:2604.18835v2 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2604.18835 由 DataCite 颁发的 arXiv DOI |
Submission history
来自：Sinan Aksoy [查看邮箱]
[v1]
2026 年 4 月 20 日星期一 20:59:25 UTC（1,002 KB）
[v2]
2026 年 10 月 23 日星期五 22:23:31 UTC（247 KB）
来源：arXiv cs.CL · arxiv.org