arXiv cs.CL· Marcus Armstrong·· 10 小时前AI 评分32
语言模型对同一实体的首次回答如何影响后续回答
Written Once, Read Differently How Language Models Own Answers Steer Their Next Ones
AI 导读
研究在四个家族共 22 个开放权重模型（0.5B–72B 参数）上考察"自我承诺"现象：模型对某实体的首个是/否答案会写入残差流中的承诺方向，两个问题方向的相似度可预测其在留出实体上的耦合（ρ = 0.43–0.85）。
正文 · AI 翻译
摘要：当语言模型回答一个是/否问题时，该答案会改变它对同一实体的另一个问题的回答方式。我们在来自四个系列（0.5B--72B 参数）的 22 个开放权重模型中研究了这种 \emph{自我承诺}，固定模型的第一个答案，并在关于 120 个实体的 3,600 个问题对中测量其第二个答案的偏移。每个答案都会向残差流中写入一个 \emph{承诺方向}。两个问题方向的相似度可预测它们在留出实体上的耦合（$\rho = 0.43$--$0.85$），而在每个模型中，消融一个跨主题共享的单一方向后，最多只留下 17\% 的效应。这个方向如何被读取则远不稳定：随着模型增大，读取电路会分散到更多注意力头上；指令微调使更多问题以相反的意义读取它；在其中一个模型中，仅改变系统提示就会反转电路的符号。在 19 个指令微调模型中的 18 个里，在保留注意力汇的同时消融该方向，能以低于 1.3\% 的困惑度代价消除大部分耦合，尽管它会使两个模型中的独立答案发生偏移。若不保留注意力汇，该方向与普通文本主成分的对齐程度可预测哪些模型会付出高昂代价。承诺只写一次，却在不同规模、训练和提示下被以不同方式读取。
| 主题： | 计算与语言 (cs.CL)；人工智能 (cs.AI) |
| 引用为： | arXiv:2611.03198 [cs.CL] |
| （或 arXiv:2611.03198v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.03198 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Marcus Armstrong [查看电子邮件]
[v1]
2026年11月2日星期一 14:25:14 UTC（259 KB）
来源：arXiv cs.CL · arxiv.org