arXiv cs.CL· Anxin Guo, Chirag Pabbaraju, Sara Ahmadian, Kamesh Munagala, Aravindan Vijayaraghavan·· 11 小时前AI 评分39
推理语言模型有多信任一只狗？量化 LLM 的提示跟随行为
How Much Do You Trust A Dog? Quantifying Hint-Following in Reasoning Language Models
AI 导读
研究在 MMLU 题目上以「[来源]认为答案是 X」的提示测试 Qwen、Gemma、SmolLM 三个开源模型族，发现提示引发的答案偏移呈指数倾斜结构，即对被提示答案的 log-odds 产生近似恒定的均值偏移。这种偏移在提示来源被声明不准确或附带明确警告时依然存在，说明模型并未按来源可靠性校准信任。
正文 · AI 翻译
摘要：大型语言模型（LLM）常常表现出谄媚倾向，即使在客观的事实与推理任务上，也会改变答案以迎合用户的暗示。然而，这种影响的定量形式——以及它是否根据来源可靠性进行校准——仍鲜为人知。在本工作中，我们通过 MMLU 问题上由提示诱导的答案偏移来研究这一行为，评估形式为“［来源］认为答案是（X）”的提示。我们在三个开源模型系列 Qwen、Gemma 和 SmolLM 上，系统地改变提示所归属的来源（一位教授、一位朋友或一只狗）。我们表明，提示所诱导的变化遵循一种可预测的结构，可用指数倾斜很好地刻画：提示在受提示答案的对数几率上诱导出近似恒定的均值偏移，而问题—目标易感性在很大程度上跨来源共享。为探究这一模式如何产生，我们引入了对提示响应的形式化分解，并在受控合成实验中说明 KL 正则化的基于奖励的训练如何重塑受提示与未受提示的答案分布。最后，我们评估这种偏移是否根据来源可靠性进行校准，发现即使提示给出者被声明为不准确，或附有明确警告不要信任该来源，对数几率偏移仍然存在，凸显了 LLM 对对抗性引导的脆弱性。
| 学科： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.32055 [cs.CL] |
| （或 arXiv:2610.32055v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32055 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Anxin Guo [查看邮箱]
[v1]
2026年10月23日星期五 01:51:31 UTC（1,426 KB）
来源：arXiv cs.CL · arxiv.org