arXiv cs.CL· Qianqi Yan, Yichen Guo, Ching-Chen Kuo, Shan Jiang, Hang Yin, Yang Zhao, Xin Eric Wang·· 11 小时前AI 评分38
OmniTrace：面向全模态 LLM 生成时来源归因的统一框架
OmniTrace: A Unified Framework for Generation-Time Source Attribution in Omni-Modal LLMs
AI 导读
OmniTrace 通过读取生成过程中后层注意力，将每句生成内容归因到文本块、图像及音视频秒级来源单元，无需额外前向传播和逐模态调参。在 Qwen3-Omni-30B、MiniCPM-o 4.5 和 Qwen2.5-Omni-7B 上，单次生成即可恢复 leave-one-out 归因 77-96% 的效果，而后者最多需 41 次额外前向。
正文 · AI 翻译
摘要：全模态语言模型能够回答关于多模态文档、录音或视频的问题，但它无法指出答案来自输入的哪一部分。要求模型引用其证据，得到的只是它声称使用的内容；而衡量它实际使用了什么，迄今需要多次移除输入中的部分内容并重新运行模型，这一成本会随着音频和视频每一秒的增加而增长。我们表明，生成过程本身已经包含了其中大部分信息。OmniTrace 通过将后层注意力读取为各单元上的质量分布，把每个生成的句子归因到源单元（文本块、图像以及音频或视频的秒数），无需额外的前向传播，也无需针对每种模态进行调优；在有消融数据可用时，可以对头权重进行训练。在固定的因果测试设置下，OmniTrace 所选的单元对 Qwen3-Omni-30B、MiniCPM-o 4.5 和 Qwen2.5-Omni-7B 在视频、音频和图文问答中的回答以及单个句子均具有因果重要性。仅通过一次生成过程，OmniTrace 就恢复了留一法归因效果的 77-96%，而后者最多需要 41 次额外传播。OmniTrace 也与人工标注的证据最为一致：其回答级排序在文档上达到 0.83 的 AUROC，在视频上达到 0.64，而最强基线分别为 0.76 和 0.60。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI）；多媒体（cs.MM） |
| 引用为： | arXiv:2604.13073 [cs.CL] |
| （或 arXiv:2604.13073v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2604.13073 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Qianqi Yan [查看邮箱]
[v1]
2026年3月20日星期五 17:25:00 UTC（1,585 KB）
[v2]
2026年10月15日星期四 20:15:24 UTC（4,404 KB）
来源：arXiv cs.CL · arxiv.org