arXiv cs.CL· Dmitrij \.Zatuchin·· 11 小时前AI 评分31
研究：查询语言显著影响 LLM 回复的自动情感评分
Query Language Sensitivity in Automated Sentiment Scores of LLM Responses
AI 导读
一项基于 12,933 条 LLM 回复的研究发现，查询语言可解释自动情感评分拟合方差中的 26.49%，品牌仅占 1.46%。剔除英语后重新拟合，语言占比降至 5.07%、品牌升至 2.23%，总拟合方差下降 65.08%。英语 1,620 条回答中有 591 条被分类器判为负面，其余七种语言 11,313 条中仅 77 条，作者强调这不能证明英语回答对品牌更负面。
正文 · AI 翻译
摘要：自动化评分常被用来概括大语言模型在不同提示、提供商和语言下如何描述品牌。此类评分可能因答案不同、评分工具在不同文本或语言上的表现不同，或两者兼有而产生差异。我们在 12,933 条回答中考察了这一测量问题，该设计交叉了 20 个存储的品牌标签、八种查询语言、三个提供商别名和 15 个提示标识符。结果变量是多语言情感分类器给出的带符号获胜类别置信度：中性获胜者编码为零，而正面和负面获胜者获得带符号置信度。对全部回答拟合的交叉线性混合模型将 26.49% 的拟合方差归因于查询语言，1.46% 归因于品牌。排除英语后的探索性重新拟合将 5.07% 归因于语言，2.23% 归因于品牌。这些百分比的分母不同：总拟合方差下降 65.08%，绝对品牌方差下降 46.65%。英语在 1,620 条回答中包含 591 个负面分类器分数，而其他七种语言的 11,313 条回答中仅有 77 个。结果表明，原始方差分解对是否纳入英语高度敏感。它并未识别出因果性的英语效应，也未证实英语回答对品牌更为负面。该分类器是针对推文情感训练的，未接收单独的目标品牌条件，且英语是其有记录的情感微调集中唯一被纳入的研究语言。因此，在自动化评分差异指导实质性结论之前，应将其作为答案和测量工具两者的属性加以核查。
| 评论： | 11 页，2 张表，1 幅图。对存储的自动化情感分数进行修正分析，并包含探索性的语言排除敏感性检验。删除了无依据的品牌排名和查询预算建议。无新的人工验证 |
| 主题： | 信息检索（cs.IR）；计算与语言（cs.CL） |
| ACM 分类： | H.3.3；G.3 |
| 引用为： | arXiv:2607.13304 [cs.IR] |
| （或本版本的 arXiv:2607.13304v2 [cs.IR]） | |
| https://doi.org/10.48550/arXiv.2607.13304 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Dmitrij Żatuchin [查看电子邮件]
[v1]
2026 年 7 月 14 日星期二 22:12:52 UTC（46 KB）
[v2]
2026 年 11 月 1 日星期日 09:19:00 UTC（43 KB）
来源：arXiv cs.CL · arxiv.org