arXiv cs.CL· Oladimeji Anthonio, Dimeji Olawuyi, Oloruntoba Ajayi, Temilola Aderemi·· 12 小时前AI 评分38
五个架构共享一个空间：无需权重合并的跨模型表征对齐
Five Architectures, One Shared Space Cross-Model Representational Alignment Without Weight Merging
AI 导读
五个冻结且独立训练的模型（四个来自不同机构的 Transformer 和一个状态空间模型）仅凭激活值即可建立统计稳健的表征对应，最强出现在各自最后一层，状态空间模型最弱配对仍达随机水平的 35-43 倍。
正文 · AI 翻译
摘要：组合语言模型通常通过平均权重来实现，但这仅在模型共享同一起点时有效。我们探究五个冻结的、独立训练的、内部设计不同的模型（来自四个机构的四个 transformer 和一个状态空间模型）能否仅通过它们的激活值建立关联，而不进行权重合并。通过置换检验、独立复现探针集、深度扫描、池化消融和混杂因素检查，我们发现这五个模型在组织相同文本的方式上存在统计上稳健的对应关系。这种对应关系在每个模型的最后一层最强，在状态空间模型上较弱，其最弱的配对仍达到随机水平的 35-43 倍。我们利用这一点，通过广义 Procrustes 分析构建了一个共享空间，其中没有模型作为固定参考。在最后一层，二十个有序模型对在两组探针集上的平均留出检索准确率为 0.91 至 0.93（随机水平为 0.03），优于成对线性映射（0.82 至 0.85），但该空间在中间层不如这些映射。它能迁移到语法形式不熟悉的普通英语，但在数学和逻辑符号上失败。随后我们测试该空间是否支持一个在可评分任务上从五个模型中进行选择的路由器。在四种任务类型中，我们没有发现路由优于始终使用最强模型的情况，并将此作为负面结果报告。一个看似很强的正确性信号实际上是伪装下的类别归属。所有实验均在一台无 GPU 的笔记本电脑上运行。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.33495 [cs.CL] |
| （或 arXiv:2610.33495v1 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.33495 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Oladimeji Anthonio [查看电子邮件]
[v1]
2026年10月24日星期六 06:52:49 UTC（110 KB）
来源：arXiv cs.CL · arxiv.org