跳到正文
arXiv cs.AI· Avinash Goutham Aluguvelly·· 10 小时前AI 评分31

权重空间编程修复视觉语言模型:SmolVLM-256M 与 LFM2-VL-450M 实验揭示修复依赖故障计算痕迹

Weight Space Programming for Vision Language Model Repair

AI 导读

研究者在 SmolVLM-256M 和 LFM2-VL-450M 的权重中植入故障,测试编码智能体能否无梯度直接修复权重。智能体在未被告知故障位置的情况下找回了大部分被缩放的投影器行和视觉编码器噪声,但修复依赖 32 位运算在 16 位权重中留下的低位痕迹;抹去这些低位后,LFM2-VL 准确率仅恢复约 4 个点,而未舍入时为 17 个点。作者建议权重修复研究披露权重数值格式并加入舍入对照组。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:在权重空间编程中,语言模型直接编辑网络权重,而不使用梯度。我们探究这种修复成功所依赖的条件。我们在两个视觉语言模型 SmolVLM-256M 和 LFM2-VL-450M 的权重中植入故障,并将编码智能体所做的每次编辑与原始权重进行核对。在未被告知查找位置的情况下,智能体找到了被重新缩放的投影器行和视觉编码器中的噪声,推断出未知的缩放因子,并将大部分或全部被重新缩放的权重恢复到其精确的原始值,准确率也接近其原始水平。这些修复依赖于故障计算方式的痕迹。原始权重具有 16 位精度,而以 32 位算术计算出的故障会留下低位,只有受损权重才携带这些低位,而真实故障未必会留下这种线索。当我们把这些位舍入掉后,每个模型仍像之前一样回答我们的测试问题,但智能体在无辅助的情况下不再能修复任一模型:在 LFM2-VL 上,准确率仅恢复约 4 个百分点,而未舍入权重可恢复 17 个百分点。再次在其低位中标记受损权重,可使编辑重新作用于它们。舍入后的权重仍保留重新缩放的统计证据。在 SmolVLM 上,当提示中有一句我们已知故障而写下的句子提到此类统计量时,智能体会使用它;在缩放因子更大的 LFM2-VL 上,大多数会话在无辅助的情况下找到了被重新缩放的行,但没有一个找到噪声。交换行或列会保留存储值的集合,但在我们的预算内,两个模型上均无法在无辅助的情况下找到。我们建议权重修复研究应报告权重的数字格式,并包含一个舍入对照。
主题: 计算机视觉与模式识别(cs.CV);人工智能(cs.AI)
引用为: arXiv:2611.23615 [cs.CV]
  (或 arXiv:2611.23615v2 [cs.CV] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.23615

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Avinash Goutham Aluguvelly [查看电子邮件]
[v1] 2026年11月17日星期二 23:07:36 UTC(298 KB)
[v2] 2026年11月19日星期四 08:12:10 UTC(324 KB)

来源:arXiv cs.AI · arxiv.org