arXiv cs.AI· Xi Ding, Jiawei Zhang·· 10 小时前AI 评分38
SpecLook:为智能体 MLLM 推测下一步该看哪里,实现快速可靠推理
SpecLook: Speculating Where to Look for Fast and Reliable Agentic MLLMs
AI 导读
SpecLook 是一个免训练的三级“推测—验证”框架,让智能体 MLLM 推测下一步观察而非答案,从而跳过缓慢的放大工具调用循环。
正文 · AI 翻译
摘要:以图像进行思考的智能体式多模态大语言模型(MLLM)将推理与放大工具调用交织在一起。然而,这种顺序循环速度较慢,且其答案不携带可靠性评分。此前对 token、推理步骤或答案的推测都保留了该循环,而答案推测还会接受自信的错误。我们发现该循环大多只增加一个放大步骤,借助该步骤,一个小模型在大多数划分上领先于智能体。我们的关键洞见是推测智能体的下一个观察结果,与草拟的答案不同,该观察结果可以被验证、纠正,并用于检验答案。我们提出 SpecLook,一个无需训练的推测与验证框架,包含三个层级。一个小模型草拟一个瞥见并据此重新作答,若答案不变且置信,则问题结束。否则,智能体的大模型在无工具的情况下验证并纠正该瞥见,并将二者的答案融合。只有仍然缺乏证据的问题才会到达智能体,且仅需一次前向传播,而 SpecLook-Fast 会跳过该传播,因此没有任何问题会运行该循环。该轨迹无需标签即可为每个答案的可靠性评分。在 V*、HR-Bench 和 POPE 上的大量实验表明,二者在每一个划分上都比所有基线更准确。SpecLook 的平均准确率达到 87.2% 和 86.2%,相比 DeepEyes-7B 和 Thyme-RL 智能体分别实现 7.7 倍和 4.7 倍加速,SpecLook-Fast 则达到 9.9 倍和 6.3 倍。
| 评论: | 技术报告 |
| 主题: | 人工智能(cs.AI);计算与语言(cs.CL);计算机视觉与模式识别(cs.CV);机器学习(cs.LG) |
| 引用为: | arXiv:2611.23483 [cs.AI] |
| (或 arXiv:2611.23483v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.23483 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Xi Ding [查看电子邮件]
[v1]
2026年11月17日星期二 20:34:56 UTC(8,163 KB)
来源:arXiv cs.AI · arxiv.org