arXiv cs.AI· Yuming Fu, Weijia Wu, Jing Chen, Jiahao Tang, Feifei Chen, Hongyu Zhu, Xin Jin, Alex Jinpeng Wang·· 3 天前AI 评分26
LabInstruct：面向实验室流程的实景教学视频生成基准
LabInstruct: Benchmarking Situated Instructional Video Generation for Lab Procedures
AI 导读
研究团队推出 LabInstruct，一个面向真实实验室的实景教学视频生成基准，涵盖 5 个学科、204 项任务，配有真实参考执行及物体、动作、接触和状态转换的结构化标注。对 8 个前沿图生视频模型的评测显示，视觉上逼真的生成结果往往在流程上并不正确，暴露出视觉真实感与实验教学可靠性之间的显著差距。
正文 · AI 翻译
摘要：自驱动实验室（SDL）旨在实现从科学决策到物理执行的全实验流程自动化。理想情况下，AI 生成的方案可以直接由机器人系统执行，但在复杂、开放世界的实验室环境中，可靠的自动化仍然困难，因为实验往往涉及精细操作、长时程流程以及任务和装置之间的巨大差异。因此，人类仍然是 AI 生成的方案与物理实验之间的重要执行接口，这就产生了对清晰有效、面向人类的实验指导的需求。由于实验室流程本质上是视觉化、空间化和动态的，视频特别适合传达仪器配置、操作动作、时间依赖关系和状态变化。视频生成领域的最新进展使得直接从初始工作区图像和自然语言指令合成实验演示成为可能。然而，这类模型能否可靠地传达真实的实验室流程尚未得到系统研究。我们提出了 LabInstruct，一个用于真实实验室中情境化教学视频生成的基准。LabInstruct 包含 5 个科学学科中的 204 个任务，配有真实参考执行以及对象、动作、接触和状态转换的结构化标注。通过评估 8 个前沿图像到视频模型，我们发现视觉上看似合理的生成结果往往在流程上仍然不正确，揭示了视觉真实感与实验指导所需的可靠性之间存在巨大差距。
| 学科： | 机器人学（cs.RO）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.14020 [cs.RO] |
| （或使用 arXiv:2610.14020v1 [cs.RO] 引用此版本） | |
| https://doi.org/10.48550/arXiv.2610.14020 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yuming Fu [查看邮箱]
[v1]
2026年9月29日星期二 12:00:06 UTC（9,741 KB）
来源：arXiv cs.AI · arxiv.org