arXiv cs.AI· Xinchen Jin, Aditya Chatterjee, Pranav Kumar, Rohan Paleja·· 11 小时前AI 评分31
面向视觉-语言-动作策略的事件锚定稀疏自编码器分析
Event-Grounded Sparse Autoencoders for Vision-Language-Action Policies
AI 导读
研究者提出一种事件锚定的可解释性流程，将 SAE 特征分析锚定到机器人行为事件而非文本上下文，通过提取末端执行器轨迹关键帧并按视觉、机器人状态与时间线索聚类来指导特征排序。在两个仿真架构和一项真机实验中，事件锚定排序在 OpenVLA 上产生最强因果效应，并可迁移到 π0.5 的连续动作块。SAE 是稀疏但不完美的干预基座，可用性随架构与干预位置变化，激进干预会暴露安全与可解释性局限。
正文 · AI 翻译
摘要：视觉-语言-动作（VLA）策略将语言和视觉输入转化为机器人动作，其隐藏表示直接塑造闭环行为。然而，来自语言和视觉-语言模型的机制可解释性工具无法干净地迁移到 VLA：输出是机器人动作而非人类可读的 token，且验证内部变化需要昂贵的闭环 rollout。我们提出一种基于事件的可解释性流水线，将 SAE 特征分析锚定到行为事件而非文本上下文。我们从末端执行器轨迹中提取关键帧，并利用视觉、机器人状态和时间线索在每个任务内对其进行聚类。由此得到的事件指导 SAE 特征排序，可选的 VLM 标注提供事件描述。据我们所知，我们的流水线是首批将基于 SAE 的 VLA 分析锚定到闭环行为事件的工作之一。在两种仿真架构和一项真实机器人研究中，基于事件的排序在 OpenVLA 上产生了最强的因果效应，并迁移到 $\pi_{0.5}$ 的连续动作块。SAE 是一种稀疏但不完美的干预基：可用性随架构和干预位置而变化，激进的干预揭示了安全性和可解释性的局限。总体而言，基于事件的 SAE 分析成为行为锚定 VLA 可解释性的一个实用起点，并推动未来在超越末端执行器运动的 SAE 分析、更细粒度的闭环评估以及面向高风险 VLA 部署的安全干预方面的工作。
| 评论： | NeurIPS 2026 相机就绪版本 |
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.17204 [cs.RO] |
| （或 arXiv:2605.17204v2 [cs.RO] 为此版本） | |
| https://doi.org/10.48550/arXiv.2605.17204 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Xinchen Jin [查看邮箱]
[v1]
2026年5月17日周日 00:20:17 UTC（18,159 KB）
[v2]
2026年11月5日周四 04:44:57 UTC（16,423 KB）
来源：arXiv cs.AI · arxiv.org