arXiv cs.AI· Oriol Juan Sabater, Alex Ferrando de las Morenas, Pau Rodr\'iguez, Xavier Suau·· 12 小时前AI 评分34
Gemma4-12B-it 研究：多模态与多运算共享同一潜在数字几何框架
Beyond the Readout: A Latent Numerical Frame Shared Across Modality and Operation
AI 导读
研究者用因果干预方法在 Gemma4-12B-it 的残差流中学习可交换答案的小子空间，发现文本与图像条件下的数字表示并不共用方向，跨条件复用仅恢复 53.2% 的因果效应，经一次旋转与缩放映射后恢复率升至 91.4%。
正文 · AI 翻译
摘要：当多模态模型从文本计算 17+35 或从渲染图像计算 91-39 时，它给出相同的答案 52。它对这两条路径使用的是同一个内部数字概念，还是各自独立的机制？RSA 或 CKA 等相似度指标无法回答这个问题。它们对相同方向和旋转后的方向给出相同的分数，而且两个表示可能看起来相似，仅仅是因为它们都在准备相同的输出数字。因此我们采用因果干预。针对四种条件（文本或图像、加法或减法），我们学习 Gemma4-12B-it 残差流中的一个小型子空间，在该子空间中交换坐标即可交换模型的答案。这些子空间回答了三个问题。第一，各条件是否沿相同方向写入数字？并非如此。将文本的子空间复用于同一运算的图像时，仅能恢复其因果效应的 53.2%。一次旋转和重新缩放可将一个子空间映射到另一个上，并将恢复率提升至 91.4%，因此各条件共享同一几何结构，只是以不同坐标表达。第二，这种共享几何结构是否只反映了模型即将输出的数字？为检验这一点，我们将每个子空间拆分为 9 个输出层读取以选择下一位数字的方向，以及 13 个输出层看不到的方向。这 13 个隐藏方向仍然携带数字信息，但改变它们几乎不会影响正在写入的数字。第三，这些隐藏方向有何用途？模型必须逐位输出多位数答案，因此它可以提前算出完整结果并将其保留备用。当两个数字共享首位时，在隐藏方向中交换数字会使正在写入的数字保持不变，并在 77.6% 的情况下改变下一位数字。因此，模型在上游形成抽象的数字概念，并随时间展开：多模态表示通过不同坐标框架间的关系几何共享含义。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.37422 [cs.AI] |
| （或 arXiv:2610.37422v1 [cs.AI] 为本版本） | |
| https://doi.org/10.48550/arXiv.2610.37422 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xavier Suau Cuadros [查看邮箱]
[v1]
2026年10月27日星期二 15:36:46 UTC（1,141 KB）
来源：arXiv cs.AI · arxiv.org