Hugging Face Daily Papers· Mario Sanz-Guerrero·· 19 天前AI 评分38
系统提示词中隐藏的日期如何影响 LLM 评测
Dating the Model: Hidden Dates in System Prompts Affect LLM Evaluation
AI 导读
研究发现系统提示词中被隐藏注入的当前日期是影响 LLM 评测可复现性的被忽视因素,用户无法控制且每天变化。在 9 个近期 LLM 和 6 个数据集上,仅日期变化就导致 MCQA 最高 6%、数学推理 14%、代码生成 7% 的性能波动,机器翻译 BLEU 相差 2.84,模型排名也随之改变。
来源:Hugging Face Daily Papers · huggingface.co