arXiv cs.CL· Wonjeong Jo, Gyuwan Kim, Ming Shan Hee·· 2 天前AI 评分27
改个数字就改答案：LLM 文本评分中的评分量表敏感性评估
Change the Number, Change the Answer: Assessing Rating Scale Sensitivity in LLM-Based Text Scoring
AI 导读
研究定义并系统考察了 LLM 文本评分中的"量表敏感性"，即评分量表设计导致的分数变化，并将其区分为归一化分数变化的数值敏感性与分数解读变化的语义敏感性。
正文 · AI 翻译
摘要：大语言模型（LLM）在计算社会科学中越来越多地被用于为社会和心理构念分配标量分数。然而，不同研究使用不同的评分量表，其分数在不同量表设计下是否仍具可比性尚缺乏研究。为填补这一空白，我们定义并系统研究了量表敏感性，即由评分量表设计导致的 LLM 生成分数的变化。我们区分了数值敏感性（归一化分数的变化）与语义敏感性（分数解释的变化）。为评估二者，我们的实验设计在 3 项任务（政治倾向、情感和毒性）、2 种提示策略（零样本和基于评分标准）以及 5 个 LLM 上，交叉了 2 种格式（连续 vs. 序数）、4 种范围（3、5、11 和 21 点）和 2 种符号（有符号 vs. 无符号）。我们发现，改变一个设计要素会使归一化分数平均偏移约 0.10，并使约 20% 的文本类别发生变化。敏感性在毒性这一唯一被考察的单极构念上最大。此外，与零样本提示相比，基于评分标准的提示并未降低敏感性。我们为设计更可靠的基于 LLM 的文本评分提供了实用指导，并强调需要在替代量表上进行稳健性检验。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI）；数值分析（math.NA） |
| 引用为： | arXiv:2610.22187 [cs.CL] |
| （或 arXiv:2610.22187v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22187 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Claire Wonjeong Jo [查看电子邮件]
[v1]
2026年10月15日星期四 16:42:15 UTC（336 KB）
来源：arXiv cs.CL · arxiv.org