arXiv cs.CL· Shuoyang Sun, Kerui Gu, Hao Fang, Shaoli Huang, Bin Chen·· 9 天前AI 评分32
ReTurn：多模态多轮对话中的选择性历史使用基准
When History Helps and Hurts: Selective History Use across Multimodal Turns
AI 导读
研究者提出 ReTurn 基准，包含 7,000 个覆盖视觉与音频证据的基础任务，用于评估多模态模型的选择性历史使用能力。在 13 个全模态、视觉语言和音频语言模型上，开放式准确率中位数从直接输入的 93.7% 降至对话中的 72.3%。行为探测显示，高问题召回率可能与较弱任务应用并存，竞争性媒体会使回答偏离历史目标，监督式适配仅带来部分提升。
正文 · AI 翻译
摘要：可靠的多模态交互依赖于对对话历史的选择性使用：先前的问题可能仍然相关，而其先前的答案可能已经过时；而当前的请求可能依赖于历史证据，尽管存在相互冲突的新观察。现有的多轮评估很少将这些历史使用需求与底层问题难度区分开来。为弥补这一空白，我们提出了 ReTurn，一个包含 7,000 个基础任务的基准，涵盖视觉和音频证据，用于评估选择性历史使用。对于携带任务的历史，Reconfirm/Reground 要求将历史问题应用于当前媒体，同时改变历史一致性；对于携带证据的历史，Retrieve/Rebind 要求使用历史媒体回答当前问题，同时改变当前媒体的竞争程度。每一对都保留目标问题、媒体和答案。任务支持开放式和多项选择评估，并配有匹配的单轮对照作为可回答性参考。在 13 个全模态、视觉语言和音频语言模型中，模型级开放式准确率中位数从直接输入时的 93.7% 下降到对话中的 72.3%。行为探测表明，高问题回忆率可能与较弱任务应用并存，而竞争媒体可能使答案偏离历史目标。监督式适配仅带来部分增益。ReTurn 提供了一个受控框架，用于评估多模态模型是否选择并使用每个请求所需的历史信息。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.11948 [cs.CL] |
| （或 arXiv:2610.11948v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11948 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shuoyang Sun [查看电子邮件]
[v1]
2026年10月8日星期四 13:36:12 UTC（1,534 KB）
来源：arXiv cs.CL · arxiv.org