arXiv cs.CL· Prakhar Gupta, Terry Jingchen Zhang, Zhijing Jin·· 11 小时前AI 评分44
多种偏见共用同一回路：后训练调优预训练模型的线索路由机制
Many Biases, One Circuit: Post-Training Tunes a Pretrained Cue-Routing Mechanism
AI 导读
语言模型在提示词含错误线索（如“我认为答案是 B”）时会放弃正确答案，研究发现多种线索类型在多数模型上依赖预训练阶段就已存在的同一组注意力头。仅用约 200 条无线索的通用助手样例微调基座模型，即可在对话格式下激活这些头，说明跟随线索可能是助手微调的副作用；在 Tulu-3-8B 和 OLMo-2-7B 中交换六个中间层的注意力模式，可将建议答案线索的影响大部分转移至另一检查点水平。
正文 · AI 翻译
摘要：当提示中包含线索——即指向错误选项的暗示，例如“我认为答案是 B”——语言模型常常会放弃正确答案。谄媚及相关偏差体现了这种失败。它们通常被分开研究，并被归咎于对齐。我们以因果方式检验这一观点，追踪这些偏差背后的注意力头在两个后训练流程各阶段中的作用。在大多数模型的多项选择测试中，四种线索类型在很大程度上依赖同样少数几个注意力头，这是一个在预训练模型中就已存在的共享回路。大多数基础模型在纯文本中会遵循线索。用约 200 个不含线索的通用助手示例对基础模型进行微调，会在聊天格式下激活这些注意力头，因此遵循线索可能是助手微调的副作用。最终的强化学习（RL）阶段在几乎每一次比较中都增强了线索的影响。在 Tulu-3-8B 和 OLMo-2-7B 中，我们在 RL 检查点与其前身之间交换了六个中间层的注意力模式。对于建议答案类线索，这会使每个检查点的线索效应大部分转移到另一方的水平。因此，后训练似乎改变了模型使用这一回路的时间与强度。针对这些多项选择偏差的缓解措施可以瞄准这一回路。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.22937 [cs.CL] |
| （或 arXiv:2610.22937v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22937 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Prakhar Gupta [查看邮箱]
[v1]
2026年10月16日星期五 05:00:12 UTC（166 KB）
来源：arXiv cs.CL · arxiv.org