arXiv cs.CL· Olga Loginova, Oleksandr Bezrukov, Frank Keller·· 12 小时前AI 评分18
PRISM：用逐步推理识别流程视频中的操作错误
Through a PRISM, Clearly: Step-Sequence Reasoning for Mistake Recognition in Procedural Videos
AI 导读
PRISM（Procedural mistake Recognition via Interpretable Semantic Modeling）将视频片段用语言描述锚定，再通过基于正确执行训练的轻量隐马尔可夫模型映射到流程状态，结合参考对齐与语义检查识别步骤内容及顺序错误。
正文 · AI 翻译
摘要：程序性错误识别需要识别出与有效多步骤活动的偏差。我们研究基于视频的完成后识别，并使用基准提供的步骤边界。我们提出 PRISM（通过可解释语义建模进行程序性错误识别），它将视频片段在语言中落地，并使用在正确执行上训练的轻量级隐马尔可夫模型将其描述映射到程序状态。参考对齐和语义检查可识别步骤内容和顺序中的错误。为了支持跨异构基准的评估，我们将数据集特定的标注映射到四种基于编辑的错误类型：插入、删除、替换和换位。在三个基准上，我们比较了原始、语义角色和动作-对象形式的金标准描述与 VLM 生成的描述。解码器控制显示，训练后的局部解码器相比最近候选匹配具有一致增益，并且序列解码还带来额外的、依赖于数据集的收益。语义角色标注在所有六项匹配的落地比较中提高了 Any-F1，尽管增益因数据集而异，并且在单独的配置选择下并未转化为一致的改进。这些结果确立了语言落地作为显式程序性错误推理的有效接口，并刻画了表示和解码的贡献。
| 主题： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.31117 [cs.CV] |
| （或 arXiv:2610.31117v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.31117 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Olga Loginova [查看电子邮件]
[v1]
2026年10月22日星期四 11:32:37 UTC（441 KB）
来源：arXiv cs.CL · arxiv.org