arXiv cs.AI· Haofeng Wang, Pengcheng Wen, Ruiqi Li, Yuhao Zhang, Tiange Zhang, Boren Zheng, Xuanyi Liu, Siyu Tao, Danni Yu, Gan Lin, Haocheng Tang, Tianzizhe Guo, Mingyuan Su, Boyuan Chen, Zhongyuan Wang·· 1 天前AI 评分31
PhysCapBench：跨域物理视频描述基准发布
PhysCapBench: A Cross-Domain Benchmark for Physically Grounded Video Captioning
AI 导读
PhysCapBench 是首个覆盖第三人称场景、自我中心操作与手持夹爪演示三个域的统一物理描述基准，为 1,500 段视频提供人工核验标注，并从七个物理维度评估准确性与覆盖度。
正文 · AI 翻译
作者：Haofeng Wang、Pengcheng Wen、Ruiqi Li、Yuhao Zhang、Tiange Zhang、Boren Zheng、Xuanyi Liu、Siyu Tao、Danni Yu、Gan Lin、Haocheng Tang、Tianzizhe Guo、Mingyuan Su、Boyuan Chen、Zhongyuan Wang
摘要：Physical AI 旨在从真实世界经验中学习可迁移的物理知识，以理解、预测物理世界并采取行动。互联网视频与具身演示提供了关于运动、交互和状态演化的互补观测。一个基础性的数据挑战在于如何测量并保留这些物理信息，将其作为训练监督。在视频-语言预训练中，字幕用语言表达所观测的过程，但语义正确的描述可能遗漏定义这些过程的交互与状态转换。视频中丰富的物理经验并不会自动转化为足够的语言监督。这一差距需要一把标尺来评估标注质量、比较字幕生成策略并指导训练数据精炼。受我们为世界模型预训练进行数据构建的启发，我们提出 PhysCapBench，据我们所知，这是首个覆盖全部三个领域的统一物理字幕基准：第三人称场景、第一人称操作和手持夹爪演示。它为 1,500 个视频序列提供人工验证的标注，并通过七个物理维度评估准确性和覆盖度。我们通过视频重建和操作策略微调考察其下游效用。相对于元数据字幕，物理字幕在第三人称视频上将重建 LPIPS 降低 8.6-9.5%，在第一人称视频上降低 26.9-30.9%。训练指令丰富化同时提升了 PhysCapBench 分数和策略成功率，包括在 RoboTwin 2.0 子任务上为 pi0.5 带来 7.5 个百分点的提升。PhysCapBench 使语言监督的物理内容可被检查和比较，为其评估和改进提供了跨领域基础。
| 评论： | 项目页面：此 https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.16424 [cs.CV] |
| （或 arXiv:2611.16424v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.16424 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Haofeng Wang [查看邮箱]
[v1]
2026年11月12日星期四 07:33:09 UTC（22,509 KB）
来源：arXiv cs.AI · arxiv.org