研究比较提示与词概率评估语言模型焦点敏感度

1. 12:00
   arXiv cs.AI

   语言模型语言学评估中的提示词与概率：语义焦点敏感性的证据

   研究在语义焦点敏感性任务上对比了显式提示与 token 概率两种评估方式，测试不同规模模型并使用粗体、斜体等文本焦点标记。token 概率在所有模型上均高于随机水平，提示词结果大体与既往发现一致，但部分较大模型以较大幅度超过概率方法。作者认为原因是 LM 不倾向产生无端焦点标记，从而干扰 token 概率结果；将标准焦点标记替换为随机标记后，概率方法仍高于随机但性能下降显著大于提示词。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。