arXiv cs.AI· Robert Pasternak·· 13 小时前AI 评分31
语言模型语言学评估中的提示词与概率：语义焦点敏感性的证据
Prompts and probabilities in the linguistic assessment of language models: Evidence from semantic focus-sensitivity
AI 导读
研究在语义焦点敏感性任务上对比了显式提示与 token 概率两种评估方式，测试不同规模模型并使用粗体、斜体等文本焦点标记。token 概率在所有模型上均高于随机水平，提示词结果大体与既往发现一致，但部分较大模型以较大幅度超过概率方法。作者认为原因是 LM 不倾向产生无端焦点标记，从而干扰 token 概率结果；将标准焦点标记替换为随机标记后，概率方法仍高于随机但性能下降显著大于提示词。
正文 · AI 翻译
摘要：随着语言模型（LM）的不断改进，评估其语言能力的一种日益常见的方式是通过显式提示（例如“哪句话更可接受？”）。先前的研究表明，在较小的模型中，这种提示方法的表现不如标准的基于词元概率的方法，但在较大的模型中则有所改善。我们在一个新领域对此进行了测试：语义焦点敏感性，它负责区分诸如“Lucy only SWAM yesterday”与“Lucy only swam YESTERDAY”这样的对比。我们使用粗体和斜体等基于文本的焦点标记测试了各种规模的模型，发现词元概率普遍具有高于随机水平的性能。提示结果大多与先前发现一致，但在一些较大的模型中，其表现大幅优于概率方法。我们提出，这是因为语言模型不倾向于产生凭空而来的焦点标记，这会以不影响提示的方式混淆词元概率的结果。我们通过用随机生成的标记替换标准焦点标记来测试这一点；词元概率仍然高于随机水平，但与提示相比，性能下降显著更大。这些结果表明，元语言提示虽然对语言模型来说并非易事，但在测试风格上非典型的数据时也可能更加稳健。我们认为，这对评估语言模型的语言能力具有重要影响，即使语言模型并非通过类人的内省来进行元语言判断。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.39923 [cs.CL] |
| （或 arXiv:2610.39923v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.39923 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Robert Pasternak [查看电子邮件]
[v1]
2026年10月29日星期四 12:28:54 UTC（369 KB）
来源：arXiv cs.AI · arxiv.org