跳到正文
Hugging Face Daily Papers· Mario Sanz-Guerrero·· 19 天前AI 评分38

系统提示词中隐藏的日期如何影响 LLM 评测

Dating the Model: Hidden Dates in System Prompts Affect LLM Evaluation

AI 导读

研究发现系统提示词中被隐藏注入的当前日期是影响 LLM 评测可复现性的被忽视因素,用户无法控制且每天变化。在 9 个近期 LLM 和 6 个数据集上,仅日期变化就导致 MCQA 最高 6%、数学推理 14%、代码生成 7% 的性能波动,机器翻译 BLEU 相差 2.84,模型排名也随之改变。

来源:Hugging Face Daily Papers · huggingface.co