arXiv cs.AI· Yusuf Umut Ciftci, Joonwon Kang, Ajay Suresha Sathya, Somil Bansal·· 3 天前AI 评分29
SCRIM：为模仿学习量化状态关键性
Where Small Mistakes Matter: Quantifying State Criticality for Imitation Learning
AI 导读
研究者提出 SCRIM（State CRIticality Measure），通过训练对抗扰动策略与价值评论器，为每个演示状态打出关键性分数，衡量该状态下小幅动作偏差对任务结果的影响。这些分数可用于重加权行为克隆损失，并筛选紧凑高价值演示子集，在保持性能的同时大幅减少训练数据。SCRIM 在多种仿真与真实机器人操作任务上验证，论文已被 CoRL 2026 接收。
正文 · AI 翻译
摘要：模仿学习通常将每个演示状态视为同等重要，在整个数据集上统一优化行为克隆目标。然而并非所有状态都是平等的：在少数关键状态下，即使与专家动作有轻微偏差也可能导致失败，而在许多其他状态下，此类错误是可恢复且无关紧要的。我们将模仿学习中的状态关键性形式化为：在给定状态下，对专家动作施加有界扰动所导致的下游价值的最坏情况退化。随后我们提出 SCRIM，一种实用的状态关键性度量（State CRIticality Measure），它通过在固定的模仿策略周围训练一个对抗性扰动策略和一个价值评论器来估计该量。SCRIM 为每个演示状态分配一个分数，反映任务结果对小的、与策略相关的动作错误的脆弱程度。我们表明，这些分数可用于重新加权行为克隆损失，从而在关键状态上改进模仿并提升整体任务性能。我们进一步表明，SCRIM 能够实现数据整理，通过选择紧凑、高价值的演示子集，在保持性能的同时大幅减少训练数据量。我们在各种模拟和真实世界的机器人操作任务上评估 SCRIM，并证明 SCRIM 改进了策略训练、实现了高效的数据选择，并提供了关于演示中哪些时刻对任务成功最为关键的可解释见解。项目网站：this https URL
| 评论： | 被机器人学习会议（CoRL 2026）接收。18 页，10 幅图，8 张表。项目网站：this https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；机器人学（cs.RO） |
| ACM 分类： | I.2.6；I.2.9 |
| 引用为： | arXiv:2610.17709 [cs.LG] |
| （或 arXiv:2610.17709v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17709 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yusuf Umut Ciftci [查看电子邮件]
[v1]
2026 年 10 月 13 日星期二 04:37:12 UTC（1,106 KB）
来源：arXiv cs.AI · arxiv.org