arXiv cs.CL· Kaixiang Shu·· 10 小时前AI 评分24
GPT-2 Small、Qwen2.5-1.5B 与 Llama-3.2-1B 中的共享关系表征与竞争通路
Shared relations, specific choices: conditional sensitivity and competing pathways in language models
AI 导读
在 GPT-2 Small、Qwen2.5-1.5B 和 Llama-3.2-1B 的受控实体绑定实验中，跨查询角色共享的低维关系背景可迁移到新名称，移除后恢复独立训练的关系方向能让输出对比更接近原值。
正文 · AI 翻译
摘要：跨查询共享的关系表示如何驱动查询特定的选择？在 GPT-2 Small、Qwen2.5-1.5B 和 Llama-3.2-1B 上进行的受控实体绑定实验揭示了一个低维关系背景，该背景主要在各查询角色之间共享，并可迁移到新名称。当查询另一个属性域时，同域交互仍然存在。移除该成分后，恢复独立训练的关系方向使输出对比更接近其原始值，在三个模型中均优于符号反转或等范数随机对照。然而，可迁移的关系表示未必具有可迁移的功能符号。在 Qwen2.5 中，固定模型权重时，训练均值关系向量和编辑剂量在答案词表不同的二值与词汇映射提示上产生相反的选择效应。对属性-查询组合的下游敏感性进行因子对比，可确定共享方向的局部有符号选择增益。在单独的八条件协议中，平均局部增益在 Qwen2.5 中为正，在 Llama3.2 中为负。晚期成分钳制解决了相反的路径贡献：在 Llama3.2 中，通过选定的仅注意力路径的负向传递被通过同时经过选定注意力和 MLP 集合的路径的正向传递部分抵消。源坐标分析确立了分布式因子覆盖，隐藏接收器读出揭示了依赖布局的组合，实例几何干预将响应方向与幅度分离。这些发现表明条件敏感性和竞争路径如何使共享关系结构对特定选择产生影响。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.01809 [cs.CL] |
| （或 arXiv:2611.01809v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.01809 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Kaixiang Shu [查看电子邮件]
[v1]
2026年11月1日星期日 11:25:07 UTC（798 KB）
来源：arXiv cs.CL · arxiv.org