arXiv cs.AI· Bohai Gu, Taiyi Wu, Dazhao Du, Jian Liu, Shuai Yang, Xiaotong Zhao, Alan Zhao, Song Guo·· 10 小时前AI 评分34
Place-it-R1：用环境感知 MLLM 推理实现视频物体插入
Place-it-R1: Unlocking Environment-aware Reasoning Potential of MLLM for Video Object Insertion
AI 导读
Place-it-R1 是一个端到端框架，用 MLLM 分析目标环境、推断物体与场景交互并确定物理上合理的插入位置，再将推理结果转化为语义引导和逐帧空间引导两类视频扩散条件。
正文 · AI 翻译
摘要：视频对象插入是视频编辑的基础任务，然而现有的扩散方法往往生成视觉上看似合理但物理上不一致的结果。我们提出 Place-it-R1，这是一个端到端框架，由环境感知的 MLLM 推理驱动，实现物理上合理的视频对象插入。Place-it-R1 不将推理视为通用的文本提示，而是利用 MLLM 分析目标环境、推断对象与场景的交互，并确定插入在何处物理上有效。由此得到的推理被转化为两种互补的视频扩散引导形式：描述预期物理交互的语义引导，以及在每一帧中提供有效插入区域的空间引导。为进一步使生成与局部物理真实感对齐，我们引入空间直接偏好优化（Spatial Direct Preference Optimization），它利用 MLLM 对生成的候选结果进行排序，并引入区域感知的偏好目标，将物理违规惩罚显式地定位到插入对象区域。Place-it-R1 还提供灵活模式和标准模式，以权衡环境适应与场景保持。大量实验表明，Place-it-R1 相比最先进的方法能产生物理上更连贯、视觉上更自然的插入结果，并取得与商业系统相竞争的表现。
| 评论： | 此 https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2603.06140 [cs.CV] |
| （或 arXiv:2603.06140v4 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2603.06140 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Bohai Gu [查看邮箱]
[v1]
2026年3月6日星期五 10:48:27 UTC（11,238 KB）
[v2]
2026年8月5日星期三 03:29:38 UTC（2,854 KB）
[v3]
2026年10月22日星期四 09:36:04 UTC（3,791 KB）
[v4]
2026年10月30日星期五 06:28:18 UTC（3,790 KB）
来源：arXiv cs.AI · arxiv.org