研究提出量化语言模型心理测量提示伪影的框架

Nils Schwager 等作者提出一种诊断设计，用于量化语言模型心理测量评估中的提示词伪影，并用 1-Wasserstein 距离把目标效应与提示词伪影分开。 该设计交叉五种语义不同的人格基线，以及四类提示词组件（人格措辞、任务指令、题目措辞、选项符号）各自的五种语义等价变体。作者称该框架能分离目标效应与提示词伪影。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。