arXiv cs.AI· Yike Wu, Keyan Chen, Qixiong Wang, Xi Xiang, Maofei Que, Xiaolong Jiang, Xiaoqin Zhang, Ling Shao, Shijian Lu·· 3 天前AI 评分23
ReTAC：面向视频空间推理的残差式测试时智能体计算
ReTAC: Residual Test-Time Agentic Computation for Video Spatial Reasoning
AI 导读
ReTAC 是一个免训练的多智能体框架，用于视频空间推理，主张测试时计算应当是"残差式"的：只对基座模型未解决的需求分配额外计算，并在局部失败后仅重算受影响的状态。它通过有序规划获取缺失的空间证据、用阶段对齐验证将失败定位到规划、感知或推理环节，并基于依赖关系恢复。在三个主流 MLLM 和两个基准上，ReTAC 取得对比方法中最高的综合得分。
正文 · AI 翻译
摘要：测试时智能体计算可以通过规划、工具使用、迭代感知和反思来改进多模态大语言模型（MLLMs），但不加区分的计算可能会重复已完成的工作、引入噪声证据并扰动正确的预测。我们提出此类计算应当是残差式的：仅将额外计算分配给基础模型未解决的需求，并且在局部失败后，仅重新计算受影响的状态。我们在 ReTAC 中实例化了这一构想，这是一个用于视频空间推理的免训练多智能体框架。ReTAC 围绕未解决的需求组织补充计算。它规划有序步骤以获取缺失的空间证据，并将观测结果与兼容的原始证据结合进行推理。此外，它使用阶段对齐验证将失败定位到规划、感知或推理。基于依赖的恢复仅重新计算受影响的状态，同时复用未受影响的状态。大量实验表明，在三个主流 MLLM 和两个广泛采用的基准上，ReTAC 在所比较的方法中取得了最高的总体得分。进一步的分析表明，额外计算带来的收益不仅取决于使用了多少计算，还取决于计算分配在哪里以及保留了哪些有效的中间状态。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.16315 [cs.AI] |
| （或 arXiv:2610.16315v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16315 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yike Wu [查看邮箱]
[v1]
2026年10月12日星期一 07:39:58 UTC（1,132 KB）
来源：arXiv cs.AI · arxiv.org