WhoWins基准测试LLM指令冲突

Anish Laddha 等作者发布 WhoWins 基准，用于测试大语言模型智能体在指令冲突时的取舍。该基准包含 1,080 个代码评分场景，分属五类任务，每个场景最多含五条互斥指令；另设七组受控实验，只改变指令的传达方式。作者用该基准测试了 14 个开放权重模型（0.6B 至 122B），共收集 1,887,356 条回复。 报道未给出实验结论，因此目前只能确认基准的规模、实验设计和测试范围，尚不能说明模型在指令冲突中如何选择。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。