arXiv cs.CL· Xinyi Ni·· 14 小时前AI 评分36
位置比渠道更重要：如何让语言模型放弃正确答案
Position Matters More Than Channel: Talking a Language Model Out of a Correct Answer
AI 导读
在 Qwen3.5-27B 和四选项 MMLU-Pro 题目上，提示词中建议的位置比 API 渠道影响大得多：带虚假理由的"答案是 X"放在问题前，可把模型原本几乎不会错的题目错误率从 1% 升到 67%，而在同一位置切换 system message 与 user message 只改变几个百分点。
正文 · AI 翻译
摘要：语言模型如今会连同其他主张一起回答问题：系统提示中的一条备注、来自另一个智能体的消息、它自己先前的回答。我们研究需要什么才能说服模型放弃它自己本就能答对的答案，并区分了以往研究中被一同改变的三个因素：建议在提示中的位置、建议被说成出自谁手，以及模型已经写了什么。在 Qwen3.5-27B 和四选项 MMLU-Pro 题目上，在每次比较中其余建议保持不变的情况下，我们发现三点。第一，位置远比 API 通道重要，而且对裸主张和带论证的主张方向相反：一句裸的“答案是 X”在模型作答前一刻危害最大，而同一主张若附带虚假理由，则在问题之前危害最大，会把模型原本几乎从不答错的题目上的错误率从 1% 提高到 67%；在同一位置上把主张从系统消息移到用户消息，错误率只变化几个百分点。第二，把备注归于权威而非另一位参与者，并以断言式措辞表述，各自会使错误率提高 10-27 个百分点，而我们测试的两种权威之间差异不到两个百分点。第三，在建议之前重放一个正确的示范答案，无论该文本被显示为模型自己的还是他人的，都能保护它；同样的重放也能阻止错误答案被一句裸的正确备注纠正。位置结果在一份独立撰写的提示下得到复现。代码、题目和所有结果表发布在 this https URL。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.34809 [cs.CL] |
| （或 arXiv:2610.34809v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.34809 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xinyi Ni [查看邮箱]
[v1]
2026年10月26日星期一 03:52:38 UTC（76 KB）
来源：arXiv cs.CL · arxiv.org