arXiv cs.CL· Hong Ting Tsang, Boyi Zhang, Haoyu Huang, Jiaxin Bai, Yufei Li, Yisen Gao, Zhongwei Xie, Hongyu Luo, Jeff Z. Pan, Yangqiu Song·· 12 小时前AI 评分38
MOSAIC：面向对话智能体长期记忆与跨模态推理的全模态基准
MOSAIC: An Omni-Modal Benchmark for Long-Term Memory and Cross-Modal Reasoning in Conversational Agents
AI 导读
研究者提出 MOSAIC，一个覆盖文本、图像、视频、音频的全模态长期记忆基准，包含 923 道问题，基于 11-24 轮会话的人设化历史。该基准构建空间、时间与韵律信号，并配套诊断协议，在固定问题、阅读器、提示词与预算的前提下分别干预表示、检索与交付环节。匹配分解显示表示损失与模态相关，即便给定金标证据阅读残差仍占主导，且模型在拒答控制上表现薄弱。
正文 · AI 翻译
摘要：全模态助手不仅要记住用户说了什么，还要记住他们展示和传达的内容。现有的长期记忆基准大多为文本加图像，或只报告单一的端到端分数，因此无法定位证据在表示、检索、交付或读取环节是否丢失。我们提出 MOSAIC，这是一个包含 923 个问题的基准，基于 11-24 个会话、涵盖文本、图像、视频和音频的 persona 基础历史。MOSAIC 构建有针对性的空间、时间和韵律信号，而非装饰性媒体，其中空间信息具有最强的因果验证，标注韵律具有选择器级验证，并配以匹配的诊断协议，该协议在干预表示、检索和交付的同时固定问题、读取器、提示和预算。匹配分解表明，表示损失取决于模态，即使在黄金证据下残余读取仍占主导，且在这些控制条件下弃答仍然薄弱：强可答分数与拒绝失败并存。因此，MOSAIC 将全模态记忆评估从排行榜转变为对写入、检索、交付和读取失败的诊断。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.29249 [cs.CL] |
| （或 arXiv:2610.29249v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29249 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Hong Ting Tsang [查看电子邮件]
[v1]
2026年10月21日星期三 05:55:20 UTC（4,850 KB）
来源：arXiv cs.CL · arxiv.org