arXiv cs.AI· Xutao Mao, Jianing Zhu, Jinman Zhao, Tongliang Liu, Xiaowen Chu, Cong Wang, Bo Han·· 11 小时前AI 评分34
TAME：用激活层干预抑制 VLM 的 CoT 混淆
Taming CoT Obfuscation in VLMs: From Mechanistic Evidence to Activation-Level Enforcement
AI 导读
针对 RL 训练视觉语言模型（VLM）时出现的 CoT 混淆问题，研究者提出激活层干预框架 TAME，利用稀疏自编码器（SAE）在 RL 训练中正则化模型内部特征。
正文 · AI 翻译
摘要：强化学习（RL）显著提升了视觉语言模型（VLM）的推理能力，但它也可能引发思维链（CoT）混淆——这是一种操作性的、非有意造成的状态，即模型在获得高准确率的同时，产生的推理轨迹依据不足且更难被监控。尽管已有工作记录了这种行为层面的退化，但对这种漂移背后的表征关联仍知之甚少。在本工作中，我们发现混淆伴随着一种表征偏移：RL 引发的优化使任务无关的模板特征在模型激活空间中与视觉依据内容的可分离性降低。基于这一洞见，我们提出 TAME，一个激活层面的干预框架，利用稀疏自编码器（SAE）在 RL 训练期间对 VLM 内部特征进行正则化。具体而言，TAME 利用反混淆反馈回路来减少行为层面的混淆，并对特定的内部方向施加非对称 SAE 约束，惩罚模板激活，同时保留视觉证据。通过直接干预与混淆相关的特征，我们的方法提升了推理轨迹的透明度和视觉依据性。在两个模型家族上于 VIRL-39k 和 SPA-VL 基准上的实验表明，TAME 提升了 CoT 可监控性（在 VIRL 上相较 GRPO 最高提升 +30.9 分，在 SPA-VL 上最高提升 +16.7 分），同时在四个标准 VLM 基准上基本保持了任务准确率和通用能力表现，并存在任务特定的权衡。我们的代码可在 此 https URL 获取。
| 注释： | 已被 NeurIPS 2026 接收。最终定稿版本，已清理排版；行为损失现已逐项写出 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2609.24243 [cs.AI] |
| （或 arXiv:2609.24243v3 [cs.AI] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2609.24243 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Xutao Mao [查看邮箱]
[v1]
2026 年 9 月 21 日星期一 08:08:56 UTC（595 KB）
[v2]
2026 年 10 月 17 日星期六 07:57:06 UTC（920 KB）
[v3]
2026 年 10 月 23 日星期五 08:28:05 UTC（1,053 KB）
来源：arXiv cs.AI · arxiv.org