Plan, Watch, Recover：主动式流程辅助的基准与架构
Plan, Watch, Recover: A Benchmark and Architectures for Proactive Procedural Assistance
研究者提出 EgoProactive 智能眼镜数据集与跨域基准 Pro²Bench，用于评测主动式多模态助手的干预时机、流程完成度和响应质量。零样本下没有前沿或开源权重模型能在首次出错前完成超过 26% 的流程干预。其 PWR（Plan, Watch, Recover）架构在上下文中维护显式计划状态并在每次干预后修订，在三个开源权重骨干上把平均流程完成率从 20% 提升到 27%。
作者：Kaustav Kundu、Ritvik Shrivastava、Maxim Arap、Nanshu Wang、Xianhui Zhu、Quintin Fettes、Gautam Tiwari、Parth Suresh、Prateek Singhi、Théo Moutakanni、Alejandro Castillejo Munoz、Allen Bolourchi、Pascale Fung、Pinar Donmez、Babak Damavandi、Anuj Kumar、Seungwhan Moon
摘要：主动式多模态助手必须判断何时需要指导以及该说什么，同时跟踪扩展流程的进展，并在用户偏离预期计划时帮助其恢复。进展受限于那些对孤立片段评分、覆盖领域狭窄或忽略现实偏差的基准。我们提出 EgoProactive，这是一个智能眼镜数据集，涵盖四个领域的流程，其中用户会犯步骤级偏差并从中恢复，并配有参考指导。我们将其与五个重新标注的自我中心和教学数据集结合，形成 Pro$^{2}$Bench，一个跨领域基准，用于评估干预时机、流程完成度和响应质量。在零样本条件下，没有任何前沿或开放权重模型能在首次出错前完成超过 26% 的流程干预。我们提出 PWR（Plan, Watch, Recover），它在模型上下文中保持显式计划状态，并在每次干预后修订该状态，包括偏差后的恢复步骤。在三个开放权重骨干模型上，仅用 Pro$^{2}$Bench 训练而不使用计划几乎不改变性能，而加入动态计划后，平均流程完成度从 20% 提升到 27%，并改善了每个骨干模型的轮级决策和响应质量。这些增益在留出数据集和训练中从未见过的偏差上依然成立。
| Comments: | 39 页，13 张图 |
| Subjects: | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| Cite as: | arXiv:2606.04970 [cs.CV] |
| （或使用 arXiv:2606.04970v2 [cs.CV] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2606.04970 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Ritvik Shrivastava [查看电子邮件]
[v1]
2026 年 6 月 3 日星期三 14:52:03 UTC（9,458 KB）
[v2]
2026 年 10 月 12 日星期一 23:29:05 UTC（6,604 KB）
来源：arXiv cs.AI · arxiv.org