arXiv cs.AI· Inkyu Sa, Konstantin Stulov, Rajat Bhageria·· 2 天前AI 评分31
ValueFormer：面向在线失败检测与 VLA 后训练的阶段感知价值标签
ValueFormer: Stage-Aware Value Labels for Online Failure Detection and VLA Post-Training
AI 导读
ValueFormer 是一个策略无关的因果 Transformer（3.5M 参数），基于冻结的 DINOv3 骨干，单次前向即可输出平滑的蒙特卡洛价值与尖锐的二值价值两路逐帧信号。
正文 · AI 翻译
摘要：通用视觉-语言-动作（VLA）策略如今已能以极少任务特定训练迁移到新场景，但它们仍会无声地失败：仅从动作流来看，一次崩溃的 rollout 与一次顺利推进的 rollout 看起来非常相似，因为模仿学习并不提供任何进度概念。廉价的替代方案——终端成功/失败位——原则上可学习，但过于稀疏，无法说明 rollout 何时出错。我们认为逐帧标签才是难点，而且当它是连续且非单调时效果更好：一个分数而非单一的成功或失败，并且可以随着 rollout 出错又恢复而先下降再上升。这样的标签获取成本很低：人只需标记一个 episode 出错的阶段，逐帧数值便由此计算得出。我们提出 ValueFormer，一个策略无关的因果 transformer（350 万参数），运行在冻结的 DINOv3 主干之上，在一次前向传播中输出两个逐帧信号：用于优势估计的平滑蒙特卡洛价值，以及用于在线错误检测的锐利二值价值。失败的 episode 带有阶段感知的、先成功后衰减的回报。遥操作站已经记录了一个干预标志；复用它可将留出集检测的平均精度从 0.38 提升到 0.82，并在操作员做出反应之前标记出 95% 的错误。在一个真实的双臂三明治工作站上，将 critic 作为逐帧后训练权重反馈回去，可将任务完成率从 70% 提升到 85%，并在我们的试验中消除了一种重复抓取失败模式，不过在 n=20 时这一提升处于噪声范围内。
| 评论： | 被接收为 NeurIPS 2026 第 8 届机器人学习研讨会（WRL）的海报展示。12 页，6 幅图。视频：此 https URL |
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI） |
| 引用为： | arXiv:2608.02958 [cs.RO] |
| （或 arXiv:2608.02958v2 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.02958 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Inkyu Sa [查看邮箱]
[v1]
2026 年 8 月 3 日星期一 23:46:39 UTC（9,462 KB）
[v2]
2026 年 10 月 14 日星期三 20:26:15 UTC（2,682 KB）
来源：arXiv cs.AI · arxiv.org