arXiv cs.CL· Yi Wang, Tianzi Wang, Tong Lei, Dahan Wang, Peter Bell·· 3 天前AI 评分22
如何设计文本接口提升 LLM 在音视频问答中的推理能力
Designing Textual Interfaces To Enhance Llm Reasoning On Audio-Visual Question Answering
AI 导读
研究比较了三种文本接口设计对音视频问答提示词优化的影响：单一 OmniLLM 直接推理、captioner-reasoner 系统，以及由主智能体协调子智能体 OmniLLM 的智能体架构。基于 Qwen3-Omni 和 Gemini 的实验显示，直接提示词优化带来依赖模型的增益，而 captioner-reasoner 与智能体系统虽暴露更可解释的优化接口，却更难优化。
正文 · AI 翻译
摘要：自动提示优化（APO）对基于文本的 LLM 和 LLM 系统已展现出显著效果，但将其应用于音视频理解系统时，需要合适的文本接口，以便将多模态推理暴露给基于文本的优化器。我们在音视频问答任务上研究了文本接口设计如何影响多模态推理的提示优化。我们比较了三种接口设计，包括由单个全模态大语言模型（OmniLLM）组成的直接推理系统、描述器-推理器系统，以及由主智能体协调子智能体 OmniLLM 的智能体架构。使用 Qwen3-Omni 和 Gemini 进行的实验表明，直接提示优化带来的收益因模型而异；描述器-推理器系统和智能体系统提供了更可解释的优化接口，但更难优化，并对受优化影响的案例进行了错误分析。我们的研究强调，文本接口设计是使提示优化对全模态推理系统有效的关键因素。我们的实现细节已在 GitHub 仓库中说明。
| 评论： | 提交至 IEEE ICASSP 2027 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；音频与语音处理（eess.AS） |
| 引用为： | arXiv:2610.20085 [cs.AI] |
| （或使用 arXiv:2610.20085v1 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.20085 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yi Wang [查看邮箱]
[v1]
2026年10月14日星期三 12:23:59 UTC（1,883 KB）
来源：arXiv cs.CL · arxiv.org