arXiv cs.AI· Yuanhe Tian, Yan Song·· 10 小时前AI 评分27
LASER：用预期引导智能体实现视频物体状态读取
Looking One Step Ahead: An Anticipation-guided Agent for Object State Readout in Videos
AI 导读
研究者提出 LASER，一种预期引导的智能体，用于视频物体状态读取：它把对下一步变化的预判转化为针对性视觉问题，检查当前帧确定属性值，再用后续帧的独立观察校验状态读取与预测，并迭代修正状态记录以生成最终描述。整个过程模型参数保持冻结，可复用的文本观察技能通过追踪与参考描述的差异来修正。在 OSCaR 和 PLM RCap 上，LASER 相比强基线和现有方法取得一致提升。
正文 · AI 翻译
摘要：理解一项活动的进展需要跟踪其中涉及的对象如何随时间变化。对象状态读出通过描述目标对象在视频帧中的状态和转换来提供这一信息。尽管多模态大语言模型（MLLMs）能生成详细的视觉描述，但这些描述可能未能充分说明区分相继状态所需的属性。在本文中，我们提出前瞻式状态读出（LASER），一种由预期引导的对象状态读出智能体，它利用可能的下一步变化来确定当前应检查哪些属性。给定按时间排序的帧和目标对象，LASER 将预期的变化转化为有针对性的视觉问题，并检查当前帧以确定属性值。随后，它对照后续帧的独立观测来检查状态读出和预测，并完善用于生成最终描述的状态记录。可复用的文本观察技能引导这一过程，并通过将参考描述中的差异追溯到相应指令来加以改进。候选修订在单独的视频上依据描述质量的提升且不增加与参考事实的矛盾来选取。在适配和推理过程中模型参数保持冻结，修订后的技能在评估期间保持固定。在 OSCaR 和 PLM RCap 上的实验结果和进一步分析表明，LASER 相较强基线和现有方法均取得了一致提升，这证明了我们方法的有效性。
| 评论： | 13 页，2 幅图 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.14113 [cs.CV] |
| （或 arXiv:2611.14113v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.14113 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yuanhe Tian [查看邮箱]
[v1]
2026 年 11 月 10 日星期二 14:05:39 UTC（7,511 KB）
来源：arXiv cs.AI · arxiv.org