arXiv cs.CL· Jinkun Chen, Xuemin Yu, Sijia Han, Vlado Keselj·· 10 小时前AI 评分18
跨提示词复用实体替换响应：Qwen 与 Llama 上的隐藏状态迁移测量
Cross-Prompt Reuse of Entity-Replacement Responses
AI 导读
研究在模型权重固定下测量实体替换响应在英文事实性问题间的迁移量，将两个源问题的隐藏状态变化注入目标问题。在 0.5-1B Qwen 和 Llama 上，其他关系源隐藏复用分别消除 45% 和 49% 的无变化误差；Gemma-2-2B 消除 22%，恢复默认 BOS token 后达 58-68%。更大检查点、chat 格式和新实体上出现格式或队列相关失败。
正文 · AI 翻译
摘要：在模型权重固定的情况下，我们测量实体替换响应在英语事实性问题之间有多少可以迁移，而不只是看答案是否改变。我们将两个源问题产生的隐藏状态变化加到关于同一实体的目标问题上，在已知答案前缀的条件下，比较两个关系已发布答案之间预测的对数概率偏移与实测偏移。隐藏复用会在目标问题剩余层之前、50% 深度处注入对齐后的变化；直接复用则加入源输出分数变化。使用其他关系作为源时，隐藏复用在 0.5-1B 的 Qwen 和 Llama 上分别消除了 45% 和 49% 的无变化误差。Gemma-2-2B 消除了 22%，并在没有默认序列起始（BOS）标记的纯文本中通过三项比较中的一项。随后恢复该标记的协议得到 58-68%，在三个队列上通过所有比较。更大的检查点、聊天格式和新实体显示出复现，以及依赖格式或队列的失败。在小型纯格式检查点上，其他关系的隐藏复用主要复现了两个关系问题共有的偏移，而未能可靠降低关系选择性误差。使用目标关系作为源时，隐藏复用相对于直接复用的后验优势在聊天格式之外为 0.2-0.9 nats，未获确认，且并非替换所特有。在两个问题的实体标记处施加相同的关心中性变化，比随机或其他替换变化更能降低关系选择性误差，表明存在接收问题依赖性。
| 评论： | 37 页，包括附录 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.00352 [cs.CL] |
| （或 arXiv:2611.00352v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.00352 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jinkun Chen [查看电子邮件]
[v1]
2026 年 10 月 30 日星期五 20:32:53 UTC（331 KB）
来源：arXiv cs.CL · arxiv.org