arXiv cs.CL· Rajdeep Pal, Jotiraditya Banerjee, Saptarshi Pani·· 10 小时前AI 评分34
GAVAGAI：用平衡最优传输为婴儿规模视觉语言模型实现指称对齐
GAVAGAI: Referential Alignment for Infant-Scale Vision-Language Models via Balanced Optimal Transport
AI 导读
GAVAGAI 通过将场景视为内容词与可见区域之间的分配问题、以熵最优传输求解，为视觉语言模型加入显式指称变量。方法设 NOTHING 列允许词不指向任何区域，并限制单区域分配质量上限以编码互斥性，对齐仅需约 8 次 Sinkhorn 迭代。
正文 · AI 翻译
摘要：儿童从大约 1 亿词的输入中学会哪些词指称哪些事物。在相当规模上训练的视觉-语言模型将词与指称对象绑定的可靠性要低得多，我们认为这种差距部分源于结构性问题：通常的下一词描述目标中没有一个变量代表“这个词指代那个区域”，因此训练不会对词进行直接接地施加压力。我们通过将每个场景视为听到的内容词与看到的区域之间的小型分配问题来加入这样一个变量，并在两个约束下将其作为熵最优传输求解。第一，一个词可以被分配到一个特殊的 NOTHING 列而不是任何区域，这很重要，因为看护者言语中的大多数内容词并不指称任何可见事物。第二，任何区域接收的分配质量不得超过一个限定份额，这一容量约束编码了互斥性。对齐步骤大约需要八次 Sinkhorn 迭代，相对于视觉编码器来说很小。在受控模拟中，该想法的朴素版本——强制每个词分配到某个区域的逐行 softmax——在现实的非指称率下，词到图片准确率降至 0.000，低于仅描述模型的 0.058，而我们的两个约束在该情形下达到 0.075，在干净输入上达到 0.700。该模型的单参数版本在三种歧义条件下复现了成人跨情境学习准确率（RMSE 0.024）。在 SAYCam 婴儿视频语料库上，将对齐损失加入下一词描述模型后，词到图片准确率从 32.4% 提高到 48.7%，定位 IoU 从 0.18 提高到 0.38。在同一个儿童数据上训练的对比模型在其自身基准上仍然更强，因此我们的主张是，该损失在高非指称率下改进了描述目标，而不是它创下了新的最佳成绩。
| 评论： | 被 NeuriPs 2026 研讨会“The BabyVLM Workshop Toward Developmentally Plausible Multimodal Systems”接收 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.00319 [cs.CL] |
| （或 arXiv:2611.00319v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.00319 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Rajdeep Pal [查看电子邮件]
[v1]
2026 年 10 月 30 日星期五 19:39:12 UTC（18 KB）
来源：arXiv cs.CL · arxiv.org